Proxy bergulir adalah layanan proxy yang secara otomatis mengubah alamat IP keluar, menarik yang baru dari kumpulan untuk setiap permintaan, setiap koneksi baru, atau setiap jendela waktu.

Anda terhubung ke satu alamat gateway, dan penyedia memilih IP keluar yang dilihat situs target. "Bergulir" menggambarkan bagaimana IP berubah, bukan dari mana asalnya: kumpulan dapat menyimpan alamat residensial, pusat data, seluler, atau ISP.

Cara Kerja Proxy Bergulir

  1. Klien Anda mengirimkan lalu lintas ke satu host gateway dan port proxy, biasanya dengan nama pengguna dan kata sandi.
  2. Gateway memilih IP keluar dari kumpulan proxy dan terhubung ke situs target dari alamat tersebut.
  3. Target hanya melihat IP keluar. Pada permintaan, koneksi, atau jendela waktu berikutnya, gateway dapat memilih yang berbeda.

Metode Rotasi

  • Per permintaan atau per koneksi: setiap permintaan atau koneksi baru mendapatkan IP keluar yang baru. Ini cocok untuk pengambilan halaman tanpa status.
  • Rotasi berbasis waktu: satu IP dipertahankan untuk periode tertentu, seperti beberapa menit, kemudian diganti.
  • Sesi lengket: sesi lengket mempertahankan satu IP untuk seluruh sesi, sehingga login, keranjang, dan formulir multi-langkah tetap berfungsi.

Per Permintaan Sering Berarti Per Koneksi

Lalu lintas HTTPS melalui proxy berjalan di dalam terowongan yang dibuka dengan metode HTTP CONNECT. Proxy kemudian meneruskan data secara buta ke kedua arah sampai terowongan ditutup, sehingga setiap permintaan yang dikirim melalui satu terowongan terbuka mencapai situs melalui koneksi yang sama dan menunjukkan IP keluar yang sama.

Sebagian besar klien HTTP juga menjaga koneksi tetap terbuka dan menggunakannya kembali untuk permintaan selanjutnya, yang dikenal sebagai koneksi persisten atau keep-alive. HTTP/2 lebih jauh lagi dan memmultiplex banyak permintaan melalui satu koneksi. Jika scraper Anda menggunakan kembali koneksi, beberapa permintaan dapat berbagi satu IP bahkan pada rencana per permintaan. Untuk mendapatkan IP baru setiap kali, tutup koneksi setelah setiap permintaan atau matikan penggunaan kembali koneksi di klien HTTP Anda.

Proxy Bergulir vs. Proxy Statis

Proxy BergulirProxy Statis
IP KeluarBerubah per permintaan, koneksi, atau jendela waktuTetap sama
Kontinuitas SesiMembutuhkan sesi lengketTerintegrasi
Beban Permintaan per IPDisebar di seluruh kumpulanSemua pada satu IP
Kesesuaian TipikalCrawls besar, pelacakan peringkat, pemeriksaan harga di banyak halamanLogin, pekerjaan akun, daftar izin IP

Lihat proxy statis untuk saat IP tetap adalah pilihan yang lebih baik.

Jenis Proxy Bergulir

Rotasi dapat berjalan pada jenis IP apa pun:

  • Residensial: IP rumah yang ditugaskan oleh ISP konsumen.
  • Pusat Data: IP dari penyedia hosting, dikelompokkan di bawah ASN hosting.
  • Seluler: IP operator yang sering dibagikan oleh banyak pengguna ponsel.
  • ISP: IP yang terdaftar untuk ISP konsumen tetapi dihosting di pusat data.

Apa Artinya untuk Web Scraping

  • Rotasi menyebar hit per-IP: pada paket Gratis dan Pro Cloudflare, aturan pembatasan laju menghitung permintaan berdasarkan IP saja. Menyebarkan permintaan di seluruh kumpulan menjaga hit setiap IP tetap lebih rendah. Lihat pembatasan laju.
  • Sesuaikan metode dengan pekerjaan: gunakan rotasi per permintaan untuk halaman independen, seperti hasil pencarian untuk pelacakan peringkat. Gunakan sesi lengket untuk apa pun yang bergantung pada login atau cookie sesi.

Batasan Proksi Rotasi

Rotasi hanya mengubah IP Anda. Cookie, login akun, dan sidik jari browser masih dapat mengidentifikasi Anda. Panduan sidik jari W3C mencatat bahwa pengguna Tor, yang mengubah rute jaringan mereka, masih dapat dihubungkan melalui sidik jari browser, dan bahwa menggunakan VPN juga tidak mencegah hal itu.

  • Batasan laju tidak selalu per IP: pada paket Enterprise Cloudflare dengan Pembatasan Laju Lanjutan, aturan dapat menghitung permintaan berdasarkan IP, tetapi juga berdasarkan nilai header, cookie, atau parameter kueri, ASN, negara, sidik jari TLS JA3/JA4, atau klaim JWT. IP baru tidak mereset batasan yang dikaitkan dengan hal-hal tersebut.
  • Perubahan IP di tengah sesi dapat mengakhiri sesi: OWASP merekomendasikan untuk mengikat sesi ke properti klien seperti alamat IP, dan memperlakukan perubahan selama sesi yang sudah ada sebagai tanda kemungkinan pembajakan yang dapat diberi peringatan atau dihentikan. Sesi lengket menjaga satu IP untuk periode tertentu, yang menghindari hal ini.
  • Tidak ada enkripsi tambahan: rotasi tidak mengenkripsi lalu lintas dengan sendirinya. Situs HTTPS tetap terenkripsi dari ujung ke ujung karena proksi hanya meneruskan byte dari terowongan.

Istilah Terkait