Best Practices für die Ratenbegrenzung von Scrapers

Von Elena Kovacs•18. Nov. 2026•16 min lesen
rate-limiting-best-practices-for-scrapers

Die Ratenbegrenzung kann darüber entscheiden, ob eine Scraping-Pipeline stabil bleibt oder unter Blockierungen, Wiederholungen und steigenden Kosten zusammenbricht. Wenn die Anforderungsrate zu aggressiv ist, lösen Scraper 429-Antworten, 403-Blockierungen, CAPTCHA-Seiten, Zeitüberschreitungen und weiche Blockierungen aus. Wenn die Rate zu konservativ ist, werden die Daten veraltet und die Infrastruktur wird unterausgelastet.

Für Teams, die Preistracker, SEO-Crawler, Wettbewerbsüberwachung, Reisepreiskontrollen, Anzeigenüberprüfungen oder KI-Datenpipelines betreiben, ist die Ratenbegrenzung nicht nur eine technische Einstellung. Sie ist eine Betriebsstrategie, die die Erfolgsquote, die Datenqualität, die Infrastrukturkosten und die Stabilität der Zielseite schützt.

Zu den besten Praktiken der Ratenbegrenzung für Scraper gehören das Setzen von Limits pro Domain, pro Pfad, pro Proxy und pro Sitzung; das Hinzufügen von Jitter; die Verwendung von adaptivem Backoff; das Respektieren von Ratenbegrenzungssignalen; das Überwachen der Blockrate und Latenz; sowie das Abstimmen basierend auf den Kosten pro erfolgreicher Anfrage.

Ein guter Scraper sollte nicht einfach so schnell wie möglich laufen. Er sollte so schnell laufen, wie er kann, während er weiterhin gültige Daten zu vorhersehbaren Kosten zurückgibt.

Was ist Ratenbegrenzung im Scraping?

Die Ratenbegrenzung kontrolliert, wie viele Anfragen ein Scraper sendet, wie schnell er sie sendet und wie er reagiert, wenn das Ziel anfängt, Stress oder Reibung zu zeigen.

Im Scraping kontrolliert die Ratenbegrenzung normalerweise:

  • Anfragen pro Sekunde
  • gleichzeitige Anfragen
  • Anfragen pro Proxy
  • Anfragen pro Sitzung
  • Anfragen pro Domain
  • Anfragen pro Pfadtyp
  • Wiederholfrequenz
  • Abkühlzeiten nach Blockierungen
  • Crawlschedules über die Zeit

Ein Scraper kann den Datenverkehr über Web-Scraping-Proxys, Browserautomatisierung, HTTP-Clients oder API-ähnliche Endpunkte senden. Unabhängig vom technischen Stack muss das Anforderungsniveau verwaltet werden.

Ohne Ratenbegrenzung kann selbst ein gut gebauter Scraper missbräuchlich erscheinen, Zielsysteme überlasten oder seine eigene Kosteneffizienz durch Wiederholungen und Blockierungen zerstören.

Warum Ratenbegrenzung wichtig ist

Die Ratenbegrenzung beeinflusst vier wichtige Ergebnisse: Zugriff, Kosten, Aktualität und Datenqualität.

Schlechte Ratenbegrenzung kann verursachen:

  • 429 Zu viele Anfragen-Antworten
  • 403 Verbotene Fehler
  • CAPTCHA- oder Herausforderungsseiten
  • Cloudflare-Blockierungen
  • Verbindungsrücksetzungen
  • hohe Wiederholungstiefe
  • Sitzungsfehler
  • falsche oder unvollständige Daten
  • aufgeblähte Proxy-Ausgaben
  • veraltete Berichte

Eine starke Ratenbegrenzung hilft Teams:

  • die Blockrate zu reduzieren
  • die Erfolgsquote zu verbessern
  • die Sitzungsüberlebensfähigkeit zu schützen
  • die CPSR zu senken
  • die Crawlfenster zu stabilisieren
  • weiche Blockierungen zu reduzieren
  • Wiederholungsstürme zu vermeiden
  • sauberere Daten zu sammeln

CPSR bedeutet Kosten pro erfolgreicher Anfrage.

In einfachen Worten: CPSR sagt Ihnen, wie viel jedes gültige Ergebnis nach den Proxy-Ausgaben, der Berechnung, dem Rendern im Browser, Wiederholungen und fehlgeschlagenen Versuchen kostet.

Ein schnellerer Scraper ist nicht besser, wenn die zusätzliche Geschwindigkeit die CPSR erhöht und die Datenqualität senkt.

Kernkonzepte: RPS, Parallelität und Identität

Bevor Sie Limits festlegen, verstehen Sie die drei Hauptkontrollen.

Anfragen pro Sekunde

Anfragen pro Sekunde, oder RPS, misst, wie viele neue Anfragen innerhalb einer Sekunde gestartet werden. Ein Scraper, der mit 5 RPS läuft, startet fünf Anfragen pro Sekunde.

RPS kontrolliert das Tempo.

Parallelität

Parallelität misst, wie viele Anfragen gleichzeitig in Bearbeitung sind. Ein Scraper kann nur 1 Anfrage pro Sekunde starten, hat aber trotzdem 20 gleichzeitige Anfragen, wenn die Seiten langsam sind.

Parallelität kontrolliert den Druck.

Identität

Websites beschränken den Datenverkehr oft nach Identität und nicht nur nach Domain. Die Identität kann Folgendes umfassen:

  • IP-Adresse
  • Proxy-Endpunkt
  • Subnetz
  • ASN
  • Sitzungscookie
  • Konto
  • Browserprofil
  • Gerätefingerabdruck
  • geografische Route

Eine Ratenbegrenzung, die nur das globale RPS kontrolliert, kann dennoch einen Proxy, eine Sitzung oder einen Pfad überlasten. Produktionsscraper benötigen Limits nach Identität und Ziel.

Schnelle Antwort: Beste Ratenbegrenzungsstrategie für Scraper

  1. Verwenden Sie einen Token-Bucket oder einen ähnlichen Limiter für das durchschnittliche Anfrage-Tempo.
  2. Fügen Sie pro Domain, Pfad und Identität Beschränkungen für die gleichzeitige Verarbeitung hinzu.
  3. Fügen Sie Jitter hinzu, um perfekte Maschinenzeitpunkte zu vermeiden.
  4. Reduzieren Sie schnell bei 429, 403, CAPTCHA, Herausforderungsseiten und steigender Latenz.
  5. Verwenden Sie Sticky Sessions für Workflows, die Cookies oder mehrstufige Kontinuität erfordern.
  6. Verfolgen Sie Erfolgsquote, Blockquote, Wiederholtiefe, Latenz, Sitzungsüberleben und CPSR.
  7. Erhöhen Sie die Geschwindigkeit schrittweise nur nach stabilen Zeitfenstern.

Das Ziel ist eine kontrollierte Durchsatzrate, nicht die maximale Durchsatzrate.

Ratenbegrenzung nach Domain, Pfad und Identität

Ein häufiger Fehler besteht darin, ein globales Limit für jedes Ziel anzuwenden.

Eine bessere Konfiguration verwendet mehrere Limit-Ebenen.

Pro-Domain-Limits

Pro-Domain-Limits verhindern, dass eine Zielseite zu viel Verkehr erhält.

Beispiel:

  • example.com: maximal 2 RPS
  • store.example.com: maximal 1 RPS
  • api.example.com: maximal 0,5 RPS

Dies schützt die stabilität spezifischer Ziele.

Pro-Pfad-Limits

Nicht alle Seiten haben die gleiche Sensibilität.

Produktseiten können ein Tempo tolerieren. Suchseiten, Checkout-Pfade, Anmeldeseiten und Bestandsendpunkte benötigen möglicherweise ein viel langsameres Tempo.

Beispiele für strengere Pfadklassen:

  • /search
  • /availability
  • /cart
  • /checkout
  • /login
  • dynamische API-Endpunkte
  • JavaScript-gerenderte Ergebnisseiten

Pro-Identitäts-Limits

Wenn Sie Proxys verwenden, sollte jeder Proxy oder jede Sitzung ihr eigenes Limit haben.

Ein Scraper, der Datacenter-Proxys, Residential-Proxys oder ISP-Routen verwendet, sollte vermeiden, zu viel Verkehr über eine Identität zu leiten.

Pro-Identitäts-Limits helfen, den Ruf des Proxys zu bewahren und reduzierte Clusterblöcke zu vermeiden.

Token-Bucket vs. Leaky-Bucket vs. Festes Fenster

Verschiedene Limiter-Typen funktionieren besser für unterschiedliche Arbeitslasten.

Limiter-TypAm besten geeignet fürStärkeSchwäche
--------------------------------------------------------------------------------------------------------------------------------------------
Token-BucketDie meisten Scraping-PipelinesErmöglicht kontrollierte Spitzen bei gleichzeitiger Durchsetzung des DurchschnittstemposKann immer noch ansteigen, wenn zu aggressiv konfiguriert
Leaky-BucketSanfter, stetiger VerkehrSehr vorhersehbare AusgabeKann Kapazität während sicherer Fenster unterauslasten
Festes FensterEinfache Skripte und PilotprojekteEinfach zu implementierenKann Grenzspitzen erzeugen
Gleitendes FensterPräzisere RatenkontrolleBesser als feste Fenster für FairnessEtwas komplexer
Adaptiver LimiterProduktions-ScraperReagiert auf Live-FeedbackErfordert gute Metriken

Für die meisten Scraper ist ein Token-Bucket plus gleichzeitige Beschränkungen und adaptives Zurückfahren ein starker Ausgangspunkt.

Startlimits für verschiedene Arbeitslasten

Es gibt keine universelle sichere Rate. Beginnen Sie konservativ und passen Sie dann mit Metriken an.

ArbeitslastVorgeschlagener Ausgangspunkt
--------------------------------------------------------------------------
Statische öffentliche HTML-Seiten1–2 RPS pro Identität, 2–4 gleichzeitige Verbindungen pro Domain
Produktdetailseiten0,5–1 RPS pro Identität, 1–3 gleichzeitige Verbindungen pro Domain
Suchergebnisseiten0,2–0,8 RPS pro Identität, strenge Pfadlimits
JavaScript-intensive Seiten0,2–0,5 RPS pro Identität, 1–2 Browsersitzungen
Anmelde- oder KontoflüsseNiedriges Tempo, sticky/statische Sitzungen
Lokale SEO-ÜberprüfungenNiedriges bis moderates Tempo nach Standort und Sitzung
ReisepreiskontrollenNiedriges Tempo, längere Abkühlzeiten, strenge Wiederholungsgrenzen

Dies sind Ausgangspunkte, keine permanenten Einstellungen. Die richtige Rate ist diejenige, die gültige Ausgaben bei akzeptablem CPSR erzeugt.

Adaptive Ratenbegrenzung

Die adaptive Ratenbegrenzung ändert das Anfragetempo basierend auf Live-Signalen.

Anstatt für immer feste Werte zu verwenden, beobachtet der Scraper Metriken und passt sich an.

Nützliche Signale sind:

  • 429-Rate
  • 403-Rate
  • CAPTCHA-Rate
  • Challenge-Rate
  • p95-Latenz
  • Timeout-Rate
  • Retry-Tiefe
  • Sitzungsüberleben
  • Soft-Block-Rate
  • Gültige Inhaltsrate

Eine einfache adaptive Schleife:

  1. Beginnen Sie mit konservativen Grenzen.
  2. Messen Sie die Ergebnisse über ein festes Zeitfenster.
  3. Wenn die Blockrate steigt, reduzieren Sie RPS und Parallelität.
  4. Wenn die Latenz ansteigt, senken Sie zuerst die Parallelität.
  5. Wenn die Wiederholungen zunehmen, pausieren oder kühlen Sie die betroffenen Routen ab.
  6. Wenn mehrere Fenster stabil bleiben, erhöhen Sie RPS langsam.
  7. Stoppen Sie die Erhöhung, wenn sich CPSR verschlechtert.

Dies verhindert, dass der Scraper überreagiert, wenn ein Fehler auftritt, reagiert jedoch dennoch schnell auf echte Reibungen.

So reagieren Sie auf 429-Fehler

Eine 429 Too Many Requests-Antwort ist das klarste Signal für eine Ratenbegrenzung.

Wenn Sie 429 sehen:

  • respektieren Sie Retry-After-Header, wenn vorhanden
  • hören Sie sofort mit dem Wiederholen auf
  • reduzieren Sie RPS für diese Identität
  • reduzieren Sie die pfadspezifische Parallelität
  • fügen Sie exponentielles Backoff hinzu
  • fügen Sie Jitter hinzu
  • kühlen Sie die betroffene Route ab
  • überwachen Sie, ob 429 nach Domain, IP, Pfad oder Konto gruppiert sind

Behandeln Sie 429 nicht als normalen Wiederholversuch. Es ist ein Feedback, dass der Scraper zu schnell für diese Route oder diesen Endpunkt ist.

Für umfassendere Fehlersuche siehe Häufige Proxy-Fehler und wie man sie behebt.

So reagieren Sie auf 403-Fehler

Ein 403 kann auf Zugriffsregeln, IP-Reputation, Bot-Erkennung, fehlenden Sitzungsstatus oder übermäßigen Verkehrsdruck hinweisen.

Wenn 403 zunehmen:

  • reduzieren Sie die Parallelität
  • inspizieren Sie den Antwortinhalt
  • überprüfen Sie, ob die Seite blockiert oder soft-blockiert ist
  • überprüfen Sie Header und Cookies
  • vergleichen Sie Proxy-Routen
  • überprüfen Sie Geo- und Locale-Konsistenz
  • überprüfen Sie, ob der Zielpfad erlaubt ist
  • vermeiden Sie Wiederholungsstürme

Wenn 403 nach einer Verlangsamung stark zurückgehen, waren Rate und Parallelität wahrscheinlich beitragende Faktoren.

Für tiefere Anleitungen siehe Verstehen von 403-Fehlern beim Scraping.

Ratenbegrenzung und Cloudflare-Blockierungen

Cloudflare-geschützte Seiten können WAF-Regeln, Bot-Management, Ratenbegrenzungen, Geo-Richtlinien und Browser-Herausforderungen anwenden. Die Ratenbegrenzung ist nur ein Teil der Lösung, aber oft der erste Punkt, der verbessert werden kann.

Wenn die Cloudflare-Blockierungen zunehmen:

  • staffeln Sie die Jobpläne
  • reduzieren Sie die Anfragerate pro Pfad
  • fügen Sie Backoff nach Herausforderungen hinzu
  • vermeiden Sie direkte Zugriffe auf sensible Pfade
  • verwenden Sie Caching, wo möglich
  • halten Sie Sitzungen stabil, wo nötig
  • validieren Sie den zurückgegebenen Inhalt
  • vergleichen Sie die Routentypen sorgfältig

Verlassen Sie sich nicht allein auf aggressives Proxy-Wechseln. Wenn das Anfrageverhalten das Problem ist, kann das Ändern der IPs es möglicherweise nicht lösen.

Für verwandte Details siehe Cloudflare-Blockierungen für Entwickler erklärt.

Jitter: Warum Zufälligkeit hilft

Maschinenperfekte Zeitmessung ist leicht zu erkennen und kann synchronisierte Spitzen erzeugen.

Jitter bedeutet, kleine zufällige Variationen im Anfragezeitpunkt hinzuzufügen.

Verwenden Sie Jitter für:

  • Anfrageintervalle
  • Wiederholverzögerungen
  • Worker-Start
  • Token-Nachfüllzeit
  • Crawl-Zeitfenster
  • Wartezeiten bei Browseraktionen

Beispiel:

Anstatt eine Anfrage genau jede Sekunde zu senden, senden Sie die nächste Anfrage nach einer zufälligen Verzögerung zwischen 0,8 und 1,2 Sekunden.

Jitter sollte bescheiden und kontrolliert sein. Es ist nicht dazu gedacht, menschliches Verhalten rücksichtslos zu fälschen. Es verhindert einfach scharfe, synchronisierte Verkehrsströme.

Backoff-Strategie

Backoff ist, wie ein Scraper nach Fehlern langsamer wird.

Eine praktische Backoff-Strategie:

  • einmal bei transienten Netzwerkfehlern wiederholen
  • exponentielles Backoff für 429 und 5xx verwenden
  • längere Abkühlzeiten nach CAPTCHA- oder Challenge-Seiten anwenden
  • die Gesamtzahl der Wiederholversuche begrenzen
  • das Wiederholen wiederholter 403 ohne Diagnose einstellen
  • harte Fehler zur Überprüfung leiten

Beispiel für Backoff-Logik:

Attempt 1: wait 2 seconds
Attempt 2: wait 4 seconds
Attempt 3: wait 8 seconds
Then stop or queue for later review

Fügen Sie jedem Wartezeitraum Jitter hinzu.

Tiefe Wiederholungen erhöhen normalerweise die CPSR und können Blockierungen verschärfen.

Sitzungsbewusste Ratenbegrenzung

Die sitzungsbewusste Ratenbegrenzung verfolgt nicht nur die Domain, sondern auch die Sitzung.

Das ist wichtig für:

  • Anmeldeflüsse
  • Warenkörbe
  • Checkout-Tests
  • Geschäftsauswahl
  • Paginierung
  • lokale SERP-Überprüfungen
  • JavaScript-intensive Browsing
  • Produktvariantenprüfungen

Wenn eine Sitzung wertvoll ist, überlasten Sie sie nicht.

Verfolgen Sie:

  • Seiten pro Sitzung
  • Sitzungsdauer
  • Blockierungen pro Sitzung
  • Wiederholungstiefe pro Sitzung
  • Sitzungsüberleben
  • Proxy-Zuweisung
  • Cookie-Zustand

Wenn Sitzungen frühzeitig fehlschlagen, reduzieren Sie das Tempo pro Sitzung und ziehen Sie in Betracht, mehr Sitzungen mit niedrigerer Geschwindigkeit zu verwenden, anstatt eine Sitzung stärker zu belasten.

Für das Routing-Verhalten siehe Rotating vs Static Proxies.

Proxy-Strategie und Ratenbegrenzung

Der Proxy-Typ beeinflusst das sichere Tempo.

Datacenter-Proxys können höhere Geschwindigkeiten auf toleranten öffentlichen Seiten unterstützen, aber sie können auf verbraucherorientierten Seiten stärkeren Blockierungen ausgesetzt sein.

Residential-Proxys können den Zugang und die Geo-Genauigkeit verbessern, sollten jedoch weiterhin sorgfältig ratenbegrenzt werden.

ISP-Proxys funktionieren möglicherweise gut für stabile wiederkehrende Sitzungen.

Mobile Proxys benötigen möglicherweise niedrigere Raten aufgrund von Kosten, Latenz und Verhalten der Anbieter.

Eine gute Strategie routet nach Arbeitslast:

ArbeitslastProxy-RouteRatenstrategie
-------------------------------------------------------------------------------------------------------------
Statische öffentliche SeitenDatacenterMäßige RPS, höhere Parallelität, wenn toleriert
ProduktseitenZuerst Datacenter, dann ResidentialKonservative pro-Domain-Obergrenzen
Lokale SEOResidentialStandortbewusste Sitzungen, geringere Burstigkeit
Anmelde-WorkflowsStatische oder sticky RouteNiedriges Tempo, hohe Sitzungs-Kontinuität
Cloudflare-sensitive SeitenResidential oder hybridStrenge Backoff- und Pfadgrenzen
Intensive BrowserautomatisierungResidential oder ISPNiedrige Parallelität, längere Abkühlzeiten

Für die Auswahl des Proxy-Typs siehe Datacenter vs Residential vs ISP Proxies Explained.

Weiche Blockierungen und Ratenlimits

Ein Scraper kann ratenbegrenzt werden, ohne eine 429 zu erhalten.

Weiche Blockierungen treten auf, wenn der Server HTTP 200 zurückgibt, aber der Inhalt ungültig oder unvollständig ist.

Beispiele:

  • Produktpreis fehlt
  • SERP-Ergebnisse fehlen
  • generische Seitenvorlage
  • falsche Region-Seite
  • CAPTCHA im HTML versteckt
  • leere Bestandsdaten
  • wiederholte identische Antworten
  • veralteter Inhalt

Die Ratenbegrenzung sollte auch auf weiche Blockierungen reagieren. Wenn die Rate der weichen Blockierungen steigt, verlangsamen Sie, inspizieren Sie die Fehlermuster und validieren Sie, ob das Problem bei Route, Sitzung, Pfad oder Parser-Abweichung liegt.

Was zu Messen Ist

Die Ratenbegrenzung sollte durch Metriken und nicht durch Vermutungen optimiert werden.

MetrikWarum es wichtig ist
-----------------------------------------------------------------------
ErfolgsquoteZeigt gültige Ausgaben
BlockrateErfasst 403-, 429-, CAPTCHA- und Challenge-Seiten
Soft-BlockrateErkennt ungültige Inhalte, die als erfolgreich zurückgegeben werden
CPSRMisst die Kosten pro erfolgreichem Ergebnis
Retry-TiefeZeigt versteckte Instabilität
P95-LatenzEnthüllt Druck auf Ziel oder Route
DurchsatzMisst gültige Seiten pro Minute
SitzungsüberlebenZeigt die Stabilität mehrstufiger Workflows
Geo-GenauigkeitBestätigt standortsensitive Gültigkeit
WarteschlangenverzögerungZeigt, ob die Limits zu streng für Frischeziele sind

Messen Sie diese nach Domain, Pfadtyp, Proxy-Route, Region und Scraper-Arbeiter. Durchschnitte verbergen Probleme.

Kostenkontrolle: Optimieren Sie für CPSR, nicht für rohe Geschwindigkeit

Ein Scraper kann mehr Seiten pro Minute sammeln, aber trotzdem teurer sein, wenn Blockierungen und Wiederholungen zunehmen.

Verwenden Sie CPSR, um Einstellungen zu vergleichen.

Beispiel:

  • Einrichtung A: 10.000 Anfragen, 70% Erfolg, hohe Wiederholungen
  • Einrichtung B: 7.000 Anfragen, 95% Erfolg, niedrige Wiederholungen

Einrichtung B kann bei niedrigeren Kosten mehr nutzbare Daten produzieren, obwohl sie weniger Anfragen sendet.

Das beste Rate-Limit liegt oft unter der maximalen Rate, die das System technisch senden kann.

Real-World-Szenario: E-Commerce-Preistracker

Ein Preismonitoring-Team sammelt Produktpreise über 40 Einzelhandels-Domains.

Die alte Einrichtung führt alle Jobs zur vollen Stunde aus. Blockierungen steigen, Wiederholungen nehmen zu, und Preisfelder fehlen.

Die verbesserte Einrichtung:

  • stagniert Crawl-Fenster
  • wendet pro-Domain-Obergrenzen an
  • wendet strengere Limits auf Suchendpunkte an
  • verwendet Wohnproxies für sensible Produktseiten
  • fügt Jitter und exponentielles Backoff hinzu
  • validiert Preis, Währung und Verfügbarkeit, bevor Daten gespeichert werden

Das Ergebnis sind weniger Blockierungen, sauberere Daten und niedrigere CPSR.

Real-World-Szenario: Reisepreisaggregator

Eine Reiseplattform sammelt Tarif- und Verfügbarkeitsdaten von JavaScript-lastigen Seiten.

Die alte Einrichtung führt zu viele Browsersitzungen gleichzeitig aus. Die Latenz steigt, Timeouts nehmen zu, und das Sitzungsüberleben sinkt.

Die verbesserte Einrichtung:

  • begrenzt die Browserkonkurrenz pro Identität
  • fügt längere Abkühlzeiten nach 403s hinzu
  • trennt öffentliche Landingpages von dynamischen Ergebnisseiten
  • verwendet Sticky Sessions für vollständige Suchabläufe
  • überwacht P95-Latenz und Retry-Tiefe

Der Workflow wird pro Anfrage langsamer, aber pro gültigem Ergebnis schneller.

Real-World-Szenario: Lokale SEO-Überwachung

Ein SEO-Team sammelt lokale SERPs aus Hunderten von Standorten.

Die alte Einrichtung verwendet denselben Zeitplan und dieselbe Rate für jede Stadt. Einige Stadtprüfungen führen zu Blockierungen oder falschen Standort-SERPs.

Die verbesserte Einrichtung:

  • verwendet standortspezifische Warteschlangen
  • begrenzt Anfragen pro Stadt und Proxy-Route
  • fügt Jitter zu Zeitplänen hinzu
  • validiert lokale Pack-Stadt-Signale
  • verlangsamt Märkte mit höheren Blockraten

Berichte werden zuverlässiger, da das System Ranking-Bewegungen von Sammlung-Instabilität trennt.

Häufige Fehlermodi

Plötzliche Autoskalierung

Neue Arbeiter starten zur gleichen Zeit und überwältigen Ziel-Domains.

Fix: Stagger Worker-Start und bewahren Sie den Limiter-Zustand über Deploys.

Nur globale Limits

Ein globales Limit mag sicher erscheinen, während ein Proxy oder Pfad überlastet ist.

Fix: Wenden Sie pro-Domain-, pro-Pfad- und pro-Identitätslimits an.

Ignorieren der Pfadsensitivität

Such-, Warenkorb-, Anmelde- und Verfügbarkeitsendpunkte benötigen möglicherweise strengere Limits als Produktseiten.

Fix: Klassifizieren Sie Pfade und weisen Sie separate Limiter zu.

Über-Ramping

Die Erhöhung der RPS zu schnell nach einem stabilen Fenster kann Oszillation erzeugen.

Fix: Langsam steigern und mehrere stabile Fenster erfordern.

Blinde Wiederholungen

Wiederholungen ohne Backoff erhöhen Druck und Kosten.

Fix: Begrenzen Sie Wiederholungen und klassifizieren Sie Fehler.

Ignorieren der Latenz

Steigende p95-Latenz tritt oft vor Blockierungen auf.

Fix: Reduzieren Sie die Parallelität, wenn die Latenz steigt.

Implementierungs-Checkliste

Vor der Produktionsbereitstellung:

  • Definieren Sie pro-Domain-Limits.
  • Definieren Sie pro-Pfad-Limits.
  • Definieren Sie pro-Identitäts-Limits.
  • Verwenden Sie Token-Bucket oder adaptive Begrenzungen.
  • Fügen Sie Parallelitätsobergrenzen hinzu.
  • Fügen Sie Jitter zu Zeitplänen und Wiederholungen hinzu.
  • Respektieren Sie Retry-After-Header.
  • Fügen Sie exponentielles Backoff hinzu.
  • Begrenzen Sie die Wiederholtiefe.
  • Verfolgen Sie die Erfolgsquote und die Blockierungsrate.
  • Verfolgen Sie weiche Blockierungen.
  • Verfolgen Sie CPSR.
  • Speichern Sie Fehlermuster.
  • Passen Sie die Limits nach Route und Arbeitslast an.
  • Überprüfen Sie die Compliance- und Zugriffsregeln.

Für Einrichtungsmuster siehe die Proxy-Tutorials von SquidProxies und breitere Proxy-Anwendungsfälle.

Häufig gestellte Fragen

Was ist Ratenbegrenzung beim Scraping?

Ratenbegrenzung steuert, wie schnell ein Scraper Anfragen sendet und wie viele Anfragen gleichzeitig ausgeführt werden. Sie hilft, Blockierungen, Zeitüberschreitungen, Wiederholungen und den Druck auf die Zielseite zu reduzieren.

Was ist eine sichere Scraping-Rate?

Es gibt keine universelle sichere Rate. Beginnen Sie konservativ, überwachen Sie die Blockierungsrate und die Latenz, und erhöhen Sie dann schrittweise. Statische Seiten können höhere Raten tolerieren als JavaScript-intensive, Anmelde-, Warenkorb- oder Such-Workflows.

Sollte ich nach IP oder Domain begrenzen?

Beides. Verwenden Sie pro-Domain-Limits, um den gesamten Verkehr zu einer Seite zu steuern, und pro-Identitäts-Limits, um zu vermeiden, dass ein Proxy, eine Sitzung oder ein Konto überbeansprucht wird.

Was sollte ich nach einem 429-Fehler tun?

Langsam machen. Respektieren Sie die Retry-After-Header, reduzieren Sie RPS, fügen Sie Backoff hinzu und vermeiden Sie sofortige Wiederholungen.

Behebt das Hinzufügen von mehr Proxys Ratenlimits?

Nicht immer. Mehr Proxys können den Verkehr verteilen, aber wenn das Ziel Pfad- oder verhaltensbasierte Limits hat, benötigt der Workflow immer noch eine bessere Abstimmung.

Ist Token-Bucket gut für Scraper?

Ja. Token-Bucket ist ein starker Standard, da es die durchschnittliche Anfragerate steuert und gleichzeitig begrenzte Spitzen zulässt. Kombinieren Sie es mit Parallelitätsobergrenzen und Backoff.

Wie reduziert Ratenbegrenzung CPSR?

Bessere Abstimmung reduziert Blockierungen und Wiederholungen. Weniger Wiederholungen bedeuten geringere Proxy-Ausgaben, weniger Rechenverschwendung und mehr gültige Ergebnisse pro Dollar.

Wie passe ich Limits für die Browserautomatisierung an?

Verwenden Sie eine niedrigere Parallelität, längere Zeitüberschreitungen, sticky Sessions und strengeres Backoff. Browsersitzungen sind schwerer und empfindlicher als einfache HTTP-Anfragen.

Welche Metriken sollte ich überwachen?

Verfolgen Sie Erfolgsquote, Blockierungsrate, weiche Blockierungsrate, CPSR, Wiederholtiefe, p95-Latenz, Durchsatz, Sitzungsüberleben, geo-genauigkeit und Warteschlangenverzögerung.

Fazit

Die besten Praktiken zur Ratenbegrenzung für Scraper drehen sich um Kontrolle, Feedback und Messung. Feste Zahlen können für kleine Pilotprojekte funktionieren, aber Produktionssysteme benötigen adaptive Limits, die auf Blockierungen, Latenz, Wiederholungen und Datenqualität reagieren.

Beginnen Sie konservativ. Begrenzen Sie nach Domain, Pfad und Identität. Fügen Sie Jitter und Backoff hinzu. Respektieren Sie Ratenbegrenzungssignale. Verfolgen Sie CPSR, nicht nur die Anzahl der Anfragen. Erhöhen Sie die Geschwindigkeit nur nach stabilen Leistungsfenstern.

Der beste Scraper ist nicht derjenige, der die meisten Anfragen sendet. Es ist derjenige, der die meisten gültigen Daten zu den niedrigsten nachhaltigen Kosten zurückgibt.

Über den Autor

Elena Kovacs

Elena Kovacs works at the intersection of data strategy and proxy infrastructure. She designs scalable, geo-targeted data collection frameworks for SEO monitoring, market intelligence, and AI datasets. Her writing explores how proxy networks enable reliable, compliant data acquisition at scale.