‘n Rotasieverteenwoordiger is ‘n proxy-diens wat outomaties die uitgaande IP-adres verander, wat ‘n nuwe een uit ‘n poel vir elke versoek, elke nuwe verbinding of elke tydvenster trek.
Jy sluit aan by een toegangspunt, en die verskaffer kies die uitgangs-IP wat teikenwebwerwe sien. "Rotasiev" beskryf hoe die IP verander, nie waar dit vandaan kom nie: die poel kan residensiële, datacenters, mobiele of ISP-adresse bevat.
Hoe ‘n Rotasieverteenwoordiger Werk
- Jou kliënt stuur verkeer na een toegangshuis en proxy-poort, gewoonlik met ‘n gebruikersnaam en wagwoord.
- Die toegangspunt kies ‘n uitgangs-IP uit sy proxy-poel en sluit aan by die teikenwebwerf vanaf daardie adres.
- Die teiken sien slegs die uitgangs-IP. By die volgende versoek, verbinding of tydvenster kan die toegangspunt ‘n ander kies.
Rotasiemetodes
- Per versoek of per verbinding: elke nuwe versoek of verbinding kry ‘n nuwe uitgangs-IP. Dit pas by stateless bladsy-ophalings.
- Tydsrotasie: een IP word vir ‘n bepaalde tydperk gehou, soos verskeie minute, en dan vervang.
- Plakkerige sessies: ‘n plakkerige sessie hou een IP vir ‘n hele sessie, sodat aanmeldings, waentjies en meerstapsvorms aanhou werk.
Per Versoek Beteken Dikwels Per Verbinding
HTTPS-verkeer deur ‘n proxy loop binne ‘n tonnel wat met die HTTP CONNECT-metode geopen is. Die proxy stuur dan data blindelings in beide rigtings totdat die tonnel sluit, sodat elke versoek wat deur een oop tonnel gestuur word, die webwerf oor dieselfde verbinding bereik en dieselfde uitgangs-IP vertoon.
Die meeste HTTP-kliënte hou ook verbindings oop en hergebruik dit vir latere versoeke, bekend as volhoubare of keep-alive verbindings. HTTP/2 gaan verder en multiplexes baie versoeke oor ‘n enkele verbinding. As jou scraper verbindings hergebruik, kan verskeie versoeke een IP deel, selfs op ‘n per-versoek-plan. Om ‘n vars IP elke keer te kry, sluit die verbinding na elke versoek of skakel verbindinghergebruik in jou HTTP-kliënt af.
Rotasieverteenwoordiger vs. Statiese Proxy
| Rotasieverteenwoordiger | Statiese Proxy | |
|---|---|---|
| Uitgangs-IP | Verander per versoek, verbinding of tydvenster | Bly dieselfde |
| Sessie kontinuïteit | Vereis plakkerige sessies | Ingebou |
| Versoeklas per IP | Versprei oor die poel | Alles op een IP |
| Tipiese pas | Groot kruip, rangopsporing, pryskontroles oor baie bladsye | Aanmeldings, rekeningwerk, IP-toelatingslys |
Sien statiese proxy vir wanneer ‘n vaste IP die beter keuse is.
Tipes Rotasieverteenwoordigers
Rotasie kan op enige IP-tipe werk:
- Residensieel: huis-IP's wat deur verbruikers-ISP's toegeken word.
- Datacenters: IP's van hostingverskaffers, gegroepeer onder hosting ASN's.
- Mobiel: draer-IP's wat baie telefoon gebruikers dikwels deel.
- ISP: IP's wat geregistreer is by verbruikers-ISP's maar in datacenters gehoste is.
Wat Dit Beteken vir Webskraping
- Rotasie versprei per-IP tellings: op Cloudflare se Gratis en Pro planne, tariefbeperkingsreëls tel versoeke per IP net. Verspreiding van versoeke oor ‘n poel hou elke IP se telling laer. Sien tariefbeperking.
- Pas die metode by die werk aan: gebruik per-versoek rotasie vir onafhanklike bladsye, soos soekresultate vir rangopsporing. Gebruik ‘n plakkerige sessie vir enigiets wat afhanklik is van ‘n aanmelding of sessie-kookie.
Beperkings van Rotasiepunte
Rotasie verander net jou IP. Koekies, rekening aanmeldings en blaaiervingerafdrukke kan jou steeds identifiseer. Die W3C se vingerafdruk riglyne noem dat Tor-gebruikers, wat hul netwerkroete verander, steeds deur blaaiervingerafdrukke gekoppel kan word, en dat die gebruik van 'n VPN dit ook nie voorkom nie.
- Tariewe is nie altyd per IP nie: op Cloudflare se Enterprise planne met Gevorderde Tariefbeperking, kan reëls versoeke tel volgens IP, maar ook volgens kop, koekie of navraagparameter waardes, ASN, land, JA3/JA4 TLS vingerafdruk of JWT eise. 'n Nuwe IP stel nie 'n limiet wat op daardie gebaseer is, terug nie.
- IP veranderinge mid-sessie kan die sessie beëindig: OWASP beveel aan om 'n sessie aan kliënt eienskappe soos die IP adres te bind, en 'n verandering tydens 'n gevestigde sessie as 'n moontlike kaping teken te behandel wat opgemerk of beëindig kan word. 'n Plakkerige sessie hou een IP vir 'n bepaalde tydperk, wat dit vermy.
- Geen bykomende enkripsie nie: rotasie enkripteer nie verkeer op sigself nie. HTTPS webwerwe bly van einde tot einde enkripteer omdat die proxy net die tonnel se bytes oordra.