IP-rotasie is die praktyk om uitgaande versoeke deur 'n poel IP-adresse te stuur en die bron-IP te wissel volgens 'n bepaalde reël, soos vir elke versoek, elke sessie of op vasgestelde tydsintervalle. Deur verkeer op hierdie manier te versprei, bly elke IP se versoekvolume laer, sodat per-IP koersbeperkings en verbod op minder van die werk invloed het.
IP-rotasie is die tegniek. 'n Rotasiebewaking is 'n diens wat dit vir jou agter een poortadres doen, maar jy kan ook IP's in jou eie kode roteer. Tuisverbindinge met dinamiese IP's kan ook adres verander, maar volgens die netwerk se skedule, nie joune nie.
Hoe IP-rotasie Werk
- Kry 'n poel: 'n lys van proxy-IP's, of 'n poort voor 'n verskaffer se proxy-poel.
- Kies 'n IP volgens reël: kies 'n adres vir die volgende versoek of sessie.
- Stuur die versoek deur dit: die teikenwebwerf sien slegs die gekose IP.
- Rus of laat misluk IP's: neem 'n IP uit gebruik wanneer dit begin om blokresponsies te ontvang, soos 403 of 429.
Rotasereëls
- Per versoek: 'n nuwe IP vir elke versoek. Hergebruikte verbindings kan dieselfde IP hou, soos verduidelik onder rotasiebewaking.
- Tydsgebonde: die IP verander op 'n vaste interval, soos elke paar minute.
- Per sessie (plakkerig): een IP word vir 'n sessie gehou en dan vervang. Sien plakkerige sessie.
- Op mislukking: die IP verander slegs na 'n blok- of koersbeperkingrespons.
- Bestelling: rond-robin gebruik elke IP om beurt; ewekansige seleksie kies enige beskikbare IP.
Manier om IP's te roteer
| Rotasiebewaking poort | Rotasie in jou eie kode | Wisseling van VPN-bedieners | |
|---|---|---|---|
| Wie kies die IP | Die verskaffer se poort | Jou skrip, uit 'n lys van proxies | Jy of die VPN-app |
| Hoe jy verbind | Een gasheer en poort | 'n Ander proxy per versoek of sessie | Een tonnel vir die hele toestel |
| Verskillende IP's gelyktydig | Ja, per verbinding of sessie | Ja, per versoek | Nee, een bediener per verbinding |
In kode beteken rotasie om die proxy op elke versoek in te stel. Scrapy, byvoorbeeld, lees dit van request.meta['proxy']. Vir hoe VPN's verskil van proxies, sien VPN vs. proxy.
Rotasie Binne Een Subnet Is Nie Regte Rotasie Nie
Webwerwe tel nie net enkele adresse nie, so 'n poel van naburige IP's kan soos een IP optree:
- Reekse: nginx se
denyriglyn aanvaar 'n CIDR-reeks, so een reël kan 'n hele subnet blokkeer, soos die 256 adresse in 'n /24. - Netwerke: Cloudflare se koersbeperkingsreëls kan versoeke volgens AS-nommer tel, so elke IP van dieselfde netwerk voeg by een teenaar. Sien ASN.
- IPv6 voorvoegsels: RFC 6177 sê eindwebwerwe moet ten minste een /64 kry, en in die meeste gevalle baie meer. 'n Webwerf kan 'n hele voorvoegsel as een gebruiker behandel, so die rotasie van adresse binne dit verander min.
Wat saak maak, is hoeveel verskillende reekse en netwerke 'n poel oorbrug, nie net hoeveel IP's dit hou nie.
Wat Dit Beteken Vir Webskraping
- Rotasie vervang nie tempo nie: wanneer 'n webwerf 429 antwoord, wag vir die tyd in sy Retry-After header eerder as om onmiddellik van 'n nuwe IP te herprobeer.
- Koekies kan langer as die IP hou: Cloudflare se "IP met NAT-ondersteuning" opsie kan besoekers identifiseer deur 'n sessiekoekie (
_cfuvid), so 'n nuwe IP met dieselfde koekiehouer mag steeds as dieselfde besoeker tel. - Pas die reël by die taak aan: roteer per versoek vir onafhanklike bladsye en hou een IP vir aanmeldings en afrekeninge.
Waarom Rotasie Alleen Nie Genoeg Is Nie
‘n Nuwe IP verander nie alles wat 'n webwerf kan sien nie. Webwerwe kan versoeke koppel deur middel van 'n blaaier vingerafdruk wat gebou is uit seine soos die User-Agent kop, venster grootte, geïnstalleerde skrifte en hoe grafika weergegee word. 'n Vingerafdruk kan 'n kliënt identifiseer selfs wanneer sy IP versteek is of koekies geblokkeer is.