Eine Sticky Session ist eine Proxy-Einstellung, die dafür sorgt, dass Ihre Anfragen für einen festgelegten Zeitraum oder bis Sie die Sitzungs-ID ändern, über dieselbe Ausgangs-IP-Adresse geleitet werden, anstatt bei jeder Anfrage eine neue IP zuzuweisen. Diese Kontinuität ermöglicht es mehrstufigen Aufgaben wie Anmeldungen, Warenkörben und Bestellungen, ohne dass die Website einen IP-Wechsel während der Sitzung bemerkt.

Bei einigen Gateways können Sie die Dauer der Sticky Session festlegen, in einigen Fällen bis zu 24 Stunden, und die Sitzung läuft ab, wenn diese Zeit abgelaufen ist.

Der Begriff hat eine zweite Bedeutung auf der Serverseite. AWS beschreibt eine Sticky Session, auch als Sitzungsaffinität bezeichnet, als eine Lastenausgleich-Funktion, die die Sitzung eines Benutzers an eine Backend-Instanz bindet. Beide Bedeutungen halten einen Client an einer Sache fest: Ein Proxy hält Ihre Ausgangs-IP konstant, und ein Lastenausgleich hält Sie auf einem Server.

Wie Sticky Sessions funktionieren

Einige rotierende Proxy-Gateways erstellen eine Sticky Session aus einer Sitzungs-ID, die Sie zum Proxy-Benutzernamen hinzufügen:

  1. Wählen Sie eine Sitzungs-ID: Sie fügen sie dem Benutzernamen hinzu, zusammen mit der Sitzungsdauer, die das Gateway unterstützt.
  2. Wiederverwenden: Anfragen, die dieselbe Sitzungs-ID tragen, verlassen das Gateway über dieselbe Ausgangs-IP.
  3. Lassen Sie sie ablaufen oder ersetzen Sie sie: Die IP bleibt zugewiesen, bis die Sitzungsdauer abläuft. In einigen Netzwerken endet sie auch, wenn die Sitzung inaktiv ist.
  4. Ändern Sie die ID für eine neue IP: Eine neue Sitzungs-ID zwingt zu einer neuen IP, sodass Sie mehrere Sticky Sessions parallel ausführen können, jede mit ihrer eigenen IP.

Proxy vs. Lastenausgleich Sticky Sessions

Proxy Sticky SessionLastenausgleich Sticky Session
Was bleibt festIhre Ausgangs-IPDer Backend-Server, der Sie bearbeitet
Wer es einrichtetSie, über den Proxy-BenutzernamenDer Betreiber der Website
Wie es verfolgt wirdEine Sitzungs-IDEin Cookie, wie das AWSALB von AWS, oder ein Hash Ihrer IP
Warum es verwendet wirdVerhindern, dass Anmeldungen und Warenkörbe einen IP-Wechsel sehenAlle Anfragen eines Benutzers an denselben Server senden

Eine Sticky Session liegt zwischen den beiden anderen Optionen: Ein rotierender Proxy ändert die IP frei, und ein statischer Proxy ändert sie nie.

Websites verwenden auch Sticky Sessions

Viele Websites betreiben ihre eigene Stickiness hinter einem Lastenausgleich, und ein Scraper kann dies unbemerkt brechen:

  • Cookie-basiert: Der Troubleshooting-Leitfaden von AWS besagt, dass die Stickiness nicht funktioniert, wenn der Client das AWSALB-Cookie nicht einfügt. Ein Scraper, der Cookies zwischen Anfragen fallen lässt, kann bei jeder Anfrage auf einem anderen Server landen.
  • IP-basiert: Mit der IP-Hash-Methode von NGINX wählt ein Hash der Client-IP den Server aus, sodass derselbe Client denselben Server erreicht. Das Rotieren Ihrer IP während des Flusses kann Sie zu einem anderen Server bewegen.

Wenn die Website Sitzungsdaten auf einem Server speichert, hat der nächste Server möglicherweise nicht Ihren Warenkorb oder Anmeldestatus. Die Beibehaltung sowohl der Ausgangs-IP als auch des Sitzungs-Cookies während der gesamten Aufgabe vermeidet dies.

Einschränkungen von Sticky Sessions

  • Ein Ziel, das die Rate nach IP begrenzt, kann mit 429 Too Many Requests antworten, sobald eine IP zu viele Anfragen in einer bestimmten Zeit sendet.
  • Wenn die IP offline geht, bevor die Sitzung endet, tauschen einige Gateways automatisch eine neue IP aus. Das kann eine Aufgabe mitten im Prozess unterbrechen, also bauen Sie Wiederholungen ein.
  • Wenn das Sitzungsfenster schließt, ändert sich die IP, was die Arbeit, die noch im Gange ist, unterbrechen kann.

Was es für Web Scraping bedeutet

  • Passen Sie die Sitzung an die Aufgabe an: Wählen Sie eine Sitzungsdauer, die den gesamten Ablauf abdeckt, z. B. von der Anmeldung bis zur Kasse.
  • Eine Sitzungs-ID pro Worker: Geben Sie jedem parallelen Worker seine eigene ID, damit ihre Anfragen und Cookies sich auf einer IP nicht vermischen.
  • Behalten Sie ein Cookie-Glas pro Sitzung: Speichern Sie die Cookies, die jede Sitzung erhält, und senden Sie sie bei jeder Anfrage in dieser Sitzung zurück.

Verwandte Begriffe