Ang IP rotation ay ang pagsasanay ng pagpapadala ng mga outgoing requests sa pamamagitan ng isang pool ng mga IP address at pagsasagawa ng pagbabago sa source IP batay sa isang itinakdang patakaran, tulad ng para sa bawat request, bawat session, o sa mga itinakdang agwat. Ang pamamahagi ng traffic sa ganitong paraan ay nagpapanatili ng mas mababang dami ng request para sa bawat IP, kaya ang mga rate limit at ban per-IP ay mas kaunti ang epekto sa trabaho.
Ang IP rotation ang teknika. Ang rotating proxy ay isang serbisyo na ginagawa ito para sa iyo sa likod ng isang gateway address, ngunit maaari mo ring i-rotate ang mga IP sa iyong sariling code. Ang mga home connections na may dynamic IP ay maaari ring magbago ng address, ngunit ayon sa iskedyul ng network, hindi sa iyo.
Paano Gumagana ang IP Rotation
- Kumuha ng pool: isang listahan ng mga proxy IP, o isang gateway sa harap ng proxy pool ng provider.
- Pumili ng IP ayon sa patakaran: pumili ng address para sa susunod na request o session.
- Ipadala ang request sa pamamagitan nito: ang target na site ay nakikita lamang ang napiling IP.
- Magpahinga o itigil ang mga bumibigay na IP: alisin ang isang IP mula sa paggamit kapag nagsimula itong makakuha ng mga block responses, tulad ng 403 o 429.
Mga Patakaran sa Rotation
- Per request: isang bagong IP para sa bawat request. Ang mga reused connections ay maaaring panatilihin ang parehong IP, gaya ng ipinaliwanag sa ilalim ng rotating proxy.
- Timed: ang IP ay nagbabago sa isang nakatakdang agwat, tulad ng bawat ilang minuto.
- Per session (sticky): isang IP ang pinapanatili para sa isang session at pagkatapos ay papalitan. Tingnan ang sticky session.
- Sa pagkabigo: ang IP ay nagbabago lamang pagkatapos ng isang block o rate-limit response.
- Order: ang round-robin ay gumagamit ng bawat IP sa turn; ang random selection ay pumipili ng anumang available na IP.
Mga Paraan upang Mag-Rotate ng IPs
| Rotating proxy gateway | Rotation sa iyong sariling code | Paglipat ng mga VPN server | |
|---|---|---|---|
| Sino ang pumipili ng IP | Ang gateway ng provider | Ang iyong script, mula sa isang listahan ng proxies | Ikaw o ang VPN app |
| Paano ka kumokonekta | Isang host at port | Ibang proxy sa bawat request o session | Isang tunnel para sa buong device |
| Iba't ibang IPs nang sabay | Oo, per connection o session | Oo, per request | Hindi, isang server per connection |
Sa code, ang rotation ay nangangahulugang pagtatakda ng proxy sa bawat request. Ang Scrapy, halimbawa, ay binabasa ito mula sa request.meta['proxy']. Para sa kung paano nag-iiba ang mga VPN mula sa proxies, tingnan ang VPN vs. proxy.
Ang Pag-ikot sa Loob ng Isang Subnet ay Hindi Tunay na Rotation
Hindi lamang binibilang ng mga site ang mga solong address, kaya ang isang pool ng mga kalapit na IP ay maaaring kumilos tulad ng isang IP:
- Ranges: ang
denydirective ng nginx ay tumatanggap ng CIDR range, kaya ang isang patakaran ay maaaring mag-block ng isang buong subnet, tulad ng 256 addresses sa isang /24. - Networks: ang mga rate limiting rules ng Cloudflare ay maaaring bilangin ang mga request ayon sa AS number, kaya ang bawat IP mula sa parehong network ay nagdadagdag sa isang counter. Tingnan ang ASN.
- IPv6 prefixes: sinasabi ng RFC 6177 na ang mga end sites ay dapat makakuha ng hindi bababa sa isang /64, at sa karamihan ng mga kaso ay mas marami pa. Ang isang site ay maaaring tratuhin ang isang buong prefix bilang isang user, kaya ang pag-ikot ng mga address sa loob nito ay nagbabago ng kaunti.
Ang mahalaga ay kung gaano karaming iba't ibang ranges at networks ang sakop ng isang pool, hindi lamang kung gaano karaming IPs ang hawak nito.
Ano ang Ibig Sabihin Nito para sa Web Scraping
- Ang rotation ay hindi pumapalit sa pacing: kapag ang isang site ay sumasagot ng 429, maghintay para sa oras sa Retry-After header nito sa halip na subukang muli agad mula sa isang bagong IP.
- Maaaring magtagal ang cookies kaysa sa IP: ang opsyon ng Cloudflare na "IP with NAT support" ay maaaring makilala ang mga bisita sa pamamagitan ng session cookie (
_cfuvid), kaya ang isang bagong IP na may parehong cookie jar ay maaaring ituring pa ring parehong bisita. - I-match ang patakaran sa gawain: mag-rotate per request para sa mga independent pages at panatilihin ang isang IP para sa mga logins at checkouts.
Bakit Ang Rotation Lang ay Hindi Sapat
Ang bagong IP ay hindi nagbabago ng lahat ng iba pang nakikita ng isang site. Maaaring i-link ng mga site ang mga request sa pamamagitan ng isang browser fingerprint na binuo mula sa mga signal tulad ng User-Agent header, laki ng bintana, mga naka-install na font, at kung paano nag-render ang mga graphics. Ang fingerprint ay maaaring makilala ang isang client kahit na nakatago ang IP nito o naka-block ang cookies.