Proxy HTTP adalah server yang menerima permintaan HTTP dari klien, meneruskannya ke server tujuan, dan mengembalikan respons. Untuk situs HTTPS, klien menggunakan metode CONNECT untuk membuka terowongan melalui proxy, yang kemudian meneruskan lalu lintas terenkripsi tanpa dapat membacanya.
Proxy HTTP dapat membaca dan bahkan memodifikasi lalu lintas HTTP yang tidak terenkripsi yang melewatinya, sehingga data sensitif harus melalui HTTPS, di mana proxy hanya meneruskan lalu lintas terenkripsi.
Bagaimana Proxy HTTP Menangani Permintaan
- Klien mengirimkan permintaannya ke proxy alih-alih ke situs web. Untuk HTTP biasa, ia menggunakan URL target lengkap; untuk HTTPS, ia mengirimkan permintaan
CONNECT host:443. - Jika proxy memerlukan login, klien menambahkan header
Proxy-Authorization. - Untuk HTTP, proxy meneruskan permintaan ke tujuan. Untuk CONNECT, ia membalas dengan status 2xx dan beralih ke mode terowongan.
- Respons kembali melalui proxy ke klien.
Proxy HTTP Maju, Mundur, dan Transparan
- Proxy maju: bertindak untuk klien dan dapat menyembunyikan identitas mereka dari situs web. Pengguna dapat mengatur satu untuk menyembunyikan alamat IP mereka saat menjelajah.
- Proxy mundur: bertindak atas nama server web, menangani pekerjaan seperti penyeimbangan beban dan caching konten statis.
- Proxy transparan (intercepting): ditempatkan di jalur jaringan, sehingga klien tidak mengonfigurasinya dan mungkin tidak tahu bahwa itu ada.
Proxy HTTP vs. Proxy SOCKS5
| Proxy HTTP | Proxy SOCKS5 | |
|---|---|---|
| Apa yang dipahami | Permintaan dan respons HTTP | Tidak ada di atas lapisan transport; ia meneruskan data tanpa membacanya sebagai HTTP |
| Lalu lintas yang dibawa | Lalu lintas web, dengan HTTPS diteruskan melalui terowongan CONNECT | TCP dan UDP untuk aplikasi apa pun yang mendukung SOCKS |
Dapat menambahkan header seperti Via | Ya | Tidak |
| Dalam curl | Tipe default ketika proxy tidak memiliki skema | Diatur dengan URL proxy socks5:// atau socks5h:// |
Caching
Beberapa proxy HTTP menyimpan respons untuk mengurangi lalu lintas yang meninggalkan jaringan. MDN menyebut ini sebagai cache proxy, sejenis cache bersama. Situs menandai respons yang dipersonalisasi dengan Cache-Control: private sehingga cache bersama tidak menyimpannya. Respons HTTPS biasanya melewati proxy dalam terowongan, sehingga dalam banyak kasus proxy tidak dapat menyimpannya.
Apa Artinya untuk Web Scraping
- HTTP sering kali menjadi default: curl memperlakukan proxy yang diberikan tanpa skema, seperti
proxy.example.com:8080, sebagai proxy HTTP. Lihat pengaturan proxy untuk tempat klien menyimpan ini. - Header dapat mengungkapkan proxy: proxy mungkin menambahkan header
Via, dan beberapa menambahkan X-Forwarded-For dengan alamat IP klien asli. Periksa apa yang dikirim oleh proxy sebelum mengandalkannya untuk menyembunyikan alamat Anda.