Ein rotierender Proxy ist ein Proxy-Dienst, der automatisch die ausgehende IP-Adresse ändert, indem er für jede Anfrage, jede neue Verbindung oder jedes Zeitfenster eine neue aus einem Pool auswählt.

Sie verbinden sich mit einer Gateway-Adresse, und der Anbieter wählt die Exit-IP, die die Zielseiten sehen. "Rotierend" beschreibt, wie sich die IP ändert, nicht woher sie kommt: Der Pool kann Wohn-, Rechenzentrums-, mobile oder ISP-Adressen enthalten.

Wie ein Rotierender Proxy Funktioniert

  1. Ihr Client sendet Datenverkehr an einen Gateway-Host und Proxy-Port, normalerweise mit einem Benutzernamen und Passwort.
  2. Das Gateway wählt eine Exit-IP aus seinem Proxy-Pool und verbindet sich von dieser Adresse mit der Zielseite.
  3. Die Zielseite sieht nur die Exit-IP. Bei der nächsten Anfrage, Verbindung oder Zeitfenster kann das Gateway eine andere auswählen.

Rotationsmethoden

  • Pro Anfrage oder pro Verbindung: Jede neue Anfrage oder Verbindung erhält eine neue Exit-IP. Dies eignet sich für zustandslose Seitenabrufe.
  • Zeitgesteuerte Rotation: Eine IP wird für einen festgelegten Zeitraum, z. B. mehrere Minuten, beibehalten und dann ersetzt.
  • Sticky Sessions: Eine sticky session hält eine IP für eine ganze Sitzung, sodass Anmeldungen, Warenkörbe und mehrstufige Formulare weiterhin funktionieren.

Pro Anfrage Bedeutet Oft Pro Verbindung

HTTPS-Datenverkehr über einen Proxy läuft innerhalb eines Tunnels, der mit der HTTP CONNECT-Methode geöffnet wird. Der Proxy leitet dann Daten blind in beide Richtungen weiter, bis der Tunnel geschlossen wird, sodass jede Anfrage, die über einen offenen Tunnel gesendet wird, die Seite über dieselbe Verbindung erreicht und dieselbe Exit-IP anzeigt.

Die meisten HTTP-Clients halten auch Verbindungen offen und verwenden sie für spätere Anfragen wieder, bekannt als persistente oder Keep-Alive-Verbindungen. HTTP/2 geht noch weiter und multiplexiert viele Anfragen über eine einzige Verbindung. Wenn Ihr Scraper Verbindungen wiederverwendet, können mehrere Anfragen eine IP teilen, selbst bei einem Pro-Anfrage-Plan. Um jedes Mal eine frische IP zu erhalten, schließen Sie die Verbindung nach jeder Anfrage oder deaktivieren Sie die Verbindungswiederverwendung in Ihrem HTTP-Client.

Rotierender vs. Statischer Proxy

Rotierender ProxyStatischer Proxy
Exit-IPÄndert sich pro Anfrage, Verbindung oder ZeitfensterBleibt gleich
Sitzungs-KontinuitätBenötigt sticky sessionsEingebaut
Anfragebelastung pro IPÜber den Pool verteiltAlle auf einer IP
Typische EignungGroße Crawls, Ranking-Tracking, Preisüberprüfungen über viele SeitenAnmeldungen, Kontowork, IP-Whitelist

Siehe statischer Proxy für den Fall, dass eine feste IP die bessere Wahl ist.

Arten von Rotierenden Proxys

Die Rotation kann auf jedem IP-Typ erfolgen:

  • Residential: Heim-IP-Adressen, die von Verbraucher-ISPs zugewiesen werden.
  • Datacenter: IPs von Hosting-Anbietern, die unter Hosting-ASNs gruppiert sind.
  • Mobile: Carrier-IP-Adressen, die viele Telefonbenutzer häufig teilen.
  • ISP: IPs, die Verbraucher-ISPs zugeordnet sind, aber in Rechenzentren gehostet werden.

Was Es Für Web-Scraping Bedeutet

  • Rotation verteilt die IP-Zählungen: Bei Cloudflares kostenlosen und Pro-Plänen zählen die Rate-Limiting-Regeln Anfragen nur nach IP. Das Verteilen von Anfragen über einen Pool hält die Zählung jeder IP niedriger. Siehe Rate-Limiting.
  • Methode an den Job anpassen: Verwenden Sie die Rotation pro Anfrage für unabhängige Seiten, wie z. B. Suchergebnisse für Ranking-Tracking. Verwenden Sie eine sticky session für alles, was von einer Anmeldung oder einem Sitzungscookie abhängt.

Einschränkungen von Rotierenden Proxys

Die Rotation ändert nur Ihre IP. Cookies, Kontologins und Browser-Fingerprinting können Sie weiterhin identifizieren. Die Fingerprinting-Richtlinien des W3C weisen darauf hin, dass Tor-Nutzer, die ihre Netzwerkroute ändern, weiterhin durch Browser-Fingerprinting verknüpft werden können und dass die Verwendung eines VPN dies ebenfalls nicht verhindert.

  • Ratenlimits gelten nicht immer pro IP: Bei Cloudflares Enterprise-Plänen mit Advanced Rate Limiting können Regeln Anfragen nach IP zählen, aber auch nach Header-, Cookie- oder Abfrageparameterwerten, ASN, Land, JA3/JA4 TLS-Fingerabdruck oder JWT-Ansprüchen. Eine neue IP setzt ein Limit, das auf diesen basiert, nicht zurück.
  • IP-Änderungen während einer Sitzung können die Sitzung beenden: OWASP empfiehlt, eine Sitzung an Client-Eigenschaften wie die IP-Adresse zu binden und eine Änderung während einer etablierten Sitzung als mögliches Anzeichen für einen Hijacking-Versuch zu behandeln, das gemeldet oder beendet werden kann. Eine sticky session behält eine IP für einen festgelegten Zeitraum, was dies vermeidet.
  • Keine zusätzliche Verschlüsselung: Die Rotation verschlüsselt den Datenverkehr nicht von sich aus. HTTPS-Seiten bleiben Ende-zu-Ende verschlüsselt, da der Proxy nur die Bytes des Tunnels weiterleitet.

Verwandte Begriffe