Rotasi IP adalah praktik mengirimkan permintaan keluar melalui kumpulan alamat IP dan mengganti IP sumber berdasarkan aturan tertentu, seperti untuk setiap permintaan, setiap sesi, atau pada interval yang ditentukan. Menyebarkan lalu lintas dengan cara ini menjaga volume permintaan setiap IP lebih rendah, sehingga batas dan larangan per-IP mempengaruhi lebih sedikit dari pekerjaan.
Rotasi IP adalah tekniknya. Sebuah proxy yang berputar adalah layanan yang melakukannya untuk Anda di balik satu alamat gateway, tetapi Anda juga dapat merotasi IP dalam kode Anda sendiri. Koneksi rumah dengan IP dinamis juga dapat mengubah alamat, tetapi sesuai jadwal jaringan, bukan jadwal Anda.
Cara Kerja Rotasi IP
- Dapatkan kumpulan: daftar IP proxy, atau gateway di depan kumpulan proxy penyedia.
- Pilih IP berdasarkan aturan: pilih alamat untuk permintaan atau sesi berikutnya.
- Kirim permintaan melalui itu: situs target hanya melihat IP yang dipilih.
- Istirahat atau buang IP yang gagal: keluarkan IP dari penggunaan ketika mulai mendapatkan respons blok, seperti 403 atau 429.
Aturan Rotasi
- Per permintaan: IP baru untuk setiap permintaan. Koneksi yang digunakan kembali dapat mempertahankan IP yang sama, seperti dijelaskan di bawah proxy yang berputar.
- Berdasarkan waktu: IP berubah pada interval tetap, seperti setiap beberapa menit.
- Per sesi (lengket): satu IP dipegang untuk satu sesi dan kemudian diganti. Lihat sesi lengket.
- Saat gagal: IP berubah hanya setelah respons blok atau batas laju.
- Urutan: round-robin menggunakan setiap IP secara bergiliran; pemilihan acak memilih IP yang tersedia.
Cara Merotasi IP
| Gateway proxy yang berputar | Rotasi dalam kode Anda sendiri | Mengganti server VPN | |
|---|---|---|---|
| Siapa yang memilih IP | Gateway penyedia | Skrip Anda, dari daftar proxy | Anda atau aplikasi VPN |
| Cara Anda terhubung | Satu host dan port | Proxy yang berbeda per permintaan atau sesi | Satu terowongan untuk seluruh perangkat |
| IP yang berbeda sekaligus | Ya, per koneksi atau sesi | Ya, per permintaan | Tidak, satu server per koneksi |
Dalam kode, rotasi berarti mengatur proxy pada setiap permintaan. Scrapy, misalnya, membacanya dari request.meta['proxy']. Untuk bagaimana VPN berbeda dari proxy, lihat VPN vs. proxy.
Rotasi Dalam Satu Subnet Bukan Rotasi Sebenarnya
Situs tidak hanya menghitung alamat tunggal, jadi kumpulan IP tetangga dapat bertindak seperti satu IP:
- Rentang: direktif
denynginx menerima rentang CIDR, jadi satu aturan dapat memblokir seluruh subnet, seperti 256 alamat dalam /24. - Jaringan: aturan pembatasan laju Cloudflare dapat menghitung permintaan berdasarkan nomor AS, jadi setiap IP dari jaringan yang sama menambah satu penghitung. Lihat ASN.
- Prefiks IPv6: RFC 6177 mengatakan situs akhir harus mendapatkan setidaknya satu /64, dan dalam banyak kasus jauh lebih banyak. Sebuah situs dapat memperlakukan seluruh prefiks sebagai satu pengguna, jadi merotasi alamat di dalamnya tidak banyak mengubah.
Yang penting adalah berapa banyak rentang dan jaringan berbeda yang dicakup oleh kumpulan, bukan hanya berapa banyak IP yang dimilikinya.
Apa Artinya untuk Web Scraping
- Rotasi tidak menggantikan pengaturan kecepatan: ketika situs menjawab 429, tunggu waktu dalam header Retry-After daripada mencoba lagi sekaligus dari IP baru.
- Cookies dapat bertahan lebih lama dari IP: opsi "IP dengan dukungan NAT" Cloudflare dapat mengidentifikasi pengunjung dengan cookie sesi (
_cfuvid), jadi IP baru dengan wadah cookie yang sama mungkin masih dihitung sebagai pengunjung yang sama. - Sesuaikan aturan dengan tugas: rotasi per permintaan untuk halaman independen dan pegang satu IP untuk login dan checkout.
Mengapa Rotasi Saja Tidak Cukup
IP baru tidak mengubah segala sesuatu yang dapat dilihat oleh sebuah situs. Situs dapat menghubungkan permintaan melalui sidik jari browser yang dibangun dari sinyal seperti header User-Agent, ukuran jendela, font yang terpasang, dan bagaimana grafik dirender. Sebuah sidik jari dapat mengidentifikasi klien bahkan ketika IP-nya disembunyikan atau cookie diblokir.