IP-Rotation ist die Praxis, ausgehende Anfragen über einen Pool von IP-Adressen zu senden und die Quell-IP (https://www.squidproxies.com/help-center/dev-advanced-guides/proxy-rotation-amp-session-management) nach einer festgelegten Regel zu wechseln, wie zum Beispiel für jede Anfrage, jede Sitzung oder in festgelegten Intervallen. Durch die Verteilung des Datenverkehrs auf diese Weise bleibt das Anfragevolumen jeder IP niedriger, sodass pro-IP-Datenlimits und -Sperren weniger Auswirkungen auf die Arbeit haben.
IP-Rotation ist die Technik. Ein (https://www.squidproxies.com/glossary/rotating-proxy) ist ein Dienst, der dies für Sie hinter einer Gateway-Adresse erledigt, aber Sie können auch IPs in Ihrem eigenen Code rotieren. Heimverbindungen mit dynamischen IPs können ebenfalls die Adresse ändern, jedoch nach dem Zeitplan des Netzwerks, nicht nach Ihrem.
Wie IP-Rotation funktioniert
- Pool erhalten: eine Liste von Proxy-IP-Adressen oder ein Gateway vor dem Proxy-Pool eines Anbieters (https://www.squidproxies.com/glossary/proxy-pool).
- IP nach Regel auswählen: eine Adresse für die nächste Anfrage oder Sitzung wählen.
- Die Anfrage darüber senden: die Zielseite sieht nur die gewählte IP.
- IP aussetzen oder fehlerhafte IPs abwerfen: eine IP außer Betrieb nehmen, wenn sie anfängt, Blockantworten zu erhalten, wie 403 oder 429.
Rotationsregeln
- Pro Anfrage: eine neue IP für jede Anfrage. Wiederverwendete Verbindungen können die gleiche IP behalten, wie unter rotierenden Proxys erklärt.
- Zeitgesteuert: die IP ändert sich in einem festen Intervall, wie alle paar Minuten.
- Pro Sitzung (sticky): eine IP wird für eine Sitzung gehalten und dann ersetzt. Siehe (https://www.squidproxies.com/glossary/sticky-session).
- Bei Fehlern: die IP ändert sich nur nach einer Block- oder Datenlimit-Antwort.
- Reihenfolge: Round-Robin verwendet jede IP der Reihe nach; die zufällige Auswahl wählt eine beliebige verfügbare IP.
Möglichkeiten zur Rotation von IPs
| Rotierendes Proxy-Gateway | Rotation in Ihrem eigenen Code | Wechseln von VPN-Servern | |
|---|---|---|---|
| Wer wählt die IP aus | Das Gateway des Anbieters | Ihr Skript, aus einer Liste von Proxys | Sie oder die VPN-App |
| Wie Sie sich verbinden | Ein Host und Port | Ein anderer Proxy pro Anfrage oder Sitzung | Ein Tunnel für das gesamte Gerät |
| Unterschiedliche IPs gleichzeitig | Ja, pro Verbindung oder Sitzung | Ja, pro Anfrage | Nein, ein Server pro Verbindung |
In Code bedeutet Rotation, den Proxy bei jeder Anfrage festzulegen. Scrapy beispielsweise liest ihn von request.meta['proxy']. Für die Unterschiede zwischen VPNs und Proxys siehe (https://www.squidproxies.com/glossary/vpn-vs-proxy).
Rotieren innerhalb eines Subnetzes ist keine echte Rotation
Webseiten zählen nicht nur einzelne Adressen, daher kann ein Pool von benachbarten IPs wie eine IP agieren:
- Bereiche: Die
deny-Direktive von nginx akzeptiert einen CIDR-Bereich, sodass eine Regel ein ganzes (https://www.squidproxies.com/glossary/subnet) blockieren kann, wie die 256 Adressen in einem /24. - Netzwerke: Die Regeln zur Datenbegrenzung von Cloudflare können Anfragen nach AS-Nummer zählen, sodass jede IP aus demselben Netzwerk zu einem Zähler beiträgt. Siehe (https://www.squidproxies.com/glossary/asn).
- IPv6-Präfixe: RFC 6177 besagt, dass Endseiten mindestens ein /64 erhalten sollten, und in den meisten Fällen viel mehr. Eine Seite kann ein ganzes Präfix als einen Benutzer behandeln, sodass das Rotieren von Adressen innerhalb davon wenig ändert.
Wichtig ist, wie viele verschiedene Bereiche und Netzwerke ein Pool umfasst, nicht nur, wie viele IPs er hält.
Was es für Web-Scraping bedeutet
- Rotation ersetzt nicht das Pacing: Wenn eine Seite 429 antwortet, warten Sie auf die Zeit im (https://www.squidproxies.com/glossary/retry-after-header) anstelle von sofortigem Wiederholen mit einer neuen IP.
- Cookies können die IP überdauern: Cloudflares Option "IP mit NAT-Unterstützung" kann Besucher durch ein Sitzungscookie identifizieren (
_cfuvid), sodass eine neue IP mit demselben Cookie-Container möglicherweise immer noch als derselbe Besucher zählt. - Passen Sie die Regel an die Aufgabe an: rotieren Sie pro Anfrage für unabhängige Seiten und halten Sie eine IP für Logins und Bestellungen.
Warum Rotation allein nicht genug ist
Eine neue IP ändert nicht alles, was eine Website sehen kann. Websites können Anfragen über einen Browser-Fingerabdruck verknüpfen, der aus Signalen wie dem User-Agent-Header, der Fenstergröße, installierten Schriftarten und der Art und Weise, wie Grafiken gerendert werden, besteht. Ein Fingerabdruck kann einen Client identifizieren, selbst wenn seine IP verborgen oder Cookies blockiert sind.