Proxy HTTP adalah server yang menerima permintaan HTTP dari klien, meneruskannya ke server tujuan, dan mengembalikan respons. Untuk situs HTTPS, klien menggunakan metode CONNECT untuk membuka terowongan melalui proxy, yang kemudian meneruskan lalu lintas terenkripsi tanpa dapat membacanya.

Proxy HTTP dapat membaca dan bahkan memodifikasi lalu lintas HTTP yang tidak terenkripsi yang melewatinya, sehingga data sensitif harus melalui HTTPS, di mana proxy hanya meneruskan lalu lintas terenkripsi.

Bagaimana Proxy HTTP Menangani Permintaan

  1. Klien mengirimkan permintaannya ke proxy alih-alih ke situs web. Untuk HTTP biasa, ia menggunakan URL target lengkap; untuk HTTPS, ia mengirimkan permintaan CONNECT host:443.
  2. Jika proxy memerlukan login, klien menambahkan header Proxy-Authorization.
  3. Untuk HTTP, proxy meneruskan permintaan ke tujuan. Untuk CONNECT, ia membalas dengan status 2xx dan beralih ke mode terowongan.
  4. Respons kembali melalui proxy ke klien.

Proxy HTTP Maju, Mundur, dan Transparan

  • Proxy maju: bertindak untuk klien dan dapat menyembunyikan identitas mereka dari situs web. Pengguna dapat mengatur satu untuk menyembunyikan alamat IP mereka saat menjelajah.
  • Proxy mundur: bertindak atas nama server web, menangani pekerjaan seperti penyeimbangan beban dan caching konten statis.
  • Proxy transparan (intercepting): ditempatkan di jalur jaringan, sehingga klien tidak mengonfigurasinya dan mungkin tidak tahu bahwa itu ada.

Proxy HTTP vs. Proxy SOCKS5

Proxy HTTPProxy SOCKS5
Apa yang dipahamiPermintaan dan respons HTTPTidak ada di atas lapisan transport; ia meneruskan data tanpa membacanya sebagai HTTP
Lalu lintas yang dibawaLalu lintas web, dengan HTTPS diteruskan melalui terowongan CONNECTTCP dan UDP untuk aplikasi apa pun yang mendukung SOCKS
Dapat menambahkan header seperti ViaYaTidak
Dalam curlTipe default ketika proxy tidak memiliki skemaDiatur dengan URL proxy socks5:// atau socks5h://

Caching

Beberapa proxy HTTP menyimpan respons untuk mengurangi lalu lintas yang meninggalkan jaringan. MDN menyebut ini sebagai cache proxy, sejenis cache bersama. Situs menandai respons yang dipersonalisasi dengan Cache-Control: private sehingga cache bersama tidak menyimpannya. Respons HTTPS biasanya melewati proxy dalam terowongan, sehingga dalam banyak kasus proxy tidak dapat menyimpannya.

Apa Artinya untuk Web Scraping

  • HTTP sering kali menjadi default: curl memperlakukan proxy yang diberikan tanpa skema, seperti proxy.example.com:8080, sebagai proxy HTTP. Lihat pengaturan proxy untuk tempat klien menyimpan ini.
  • Header dapat mengungkapkan proxy: proxy mungkin menambahkan header Via, dan beberapa menambahkan X-Forwarded-For dengan alamat IP klien asli. Periksa apa yang dikirim oleh proxy sebelum mengandalkannya untuk menyembunyikan alamat Anda.

Istilah Terkait