Best Practices für die Ratenbegrenzung von Scrapers

Die Ratenbegrenzung kann darüber entscheiden, ob eine Scraping-Pipeline stabil bleibt oder unter Blockierungen, Wiederholungen und steigenden Kosten zusammenbricht. Wenn die Anforderungsrate zu aggressiv ist, lösen Scraper 429-Antworten, 403-Blockierungen, CAPTCHA-Seiten, Zeitüberschreitungen und weiche Blockierungen aus. Wenn die Rate zu konservativ ist, werden die Daten veraltet und die Infrastruktur wird unterausgelastet.
Für Teams, die Preistracker, SEO-Crawler, Wettbewerbsüberwachung, Reisepreiskontrollen, Anzeigenüberprüfungen oder KI-Datenpipelines betreiben, ist die Ratenbegrenzung nicht nur eine technische Einstellung. Sie ist eine Betriebsstrategie, die die Erfolgsquote, die Datenqualität, die Infrastrukturkosten und die Stabilität der Zielseite schützt.
Zu den besten Praktiken der Ratenbegrenzung für Scraper gehören das Setzen von Limits pro Domain, pro Pfad, pro Proxy und pro Sitzung; das Hinzufügen von Jitter; die Verwendung von adaptivem Backoff; das Respektieren von Ratenbegrenzungssignalen; das Überwachen der Blockrate und Latenz; sowie das Abstimmen basierend auf den Kosten pro erfolgreicher Anfrage.
Ein guter Scraper sollte nicht einfach so schnell wie möglich laufen. Er sollte so schnell laufen, wie er kann, während er weiterhin gültige Daten zu vorhersehbaren Kosten zurückgibt.
Was ist Ratenbegrenzung im Scraping?
Die Ratenbegrenzung kontrolliert, wie viele Anfragen ein Scraper sendet, wie schnell er sie sendet und wie er reagiert, wenn das Ziel anfängt, Stress oder Reibung zu zeigen.
Im Scraping kontrolliert die Ratenbegrenzung normalerweise:
- Anfragen pro Sekunde
- gleichzeitige Anfragen
- Anfragen pro Proxy
- Anfragen pro Sitzung
- Anfragen pro Domain
- Anfragen pro Pfadtyp
- Wiederholfrequenz
- Abkühlzeiten nach Blockierungen
- Crawlschedules über die Zeit
Ein Scraper kann den Datenverkehr über Web-Scraping-Proxys, Browserautomatisierung, HTTP-Clients oder API-ähnliche Endpunkte senden. Unabhängig vom technischen Stack muss das Anforderungsniveau verwaltet werden.
Ohne Ratenbegrenzung kann selbst ein gut gebauter Scraper missbräuchlich erscheinen, Zielsysteme überlasten oder seine eigene Kosteneffizienz durch Wiederholungen und Blockierungen zerstören.
Warum Ratenbegrenzung wichtig ist
Die Ratenbegrenzung beeinflusst vier wichtige Ergebnisse: Zugriff, Kosten, Aktualität und Datenqualität.
Schlechte Ratenbegrenzung kann verursachen:
- 429 Zu viele Anfragen-Antworten
- 403 Verbotene Fehler
- CAPTCHA- oder Herausforderungsseiten
- Cloudflare-Blockierungen
- Verbindungsrücksetzungen
- hohe Wiederholungstiefe
- Sitzungsfehler
- falsche oder unvollständige Daten
- aufgeblähte Proxy-Ausgaben
- veraltete Berichte
Eine starke Ratenbegrenzung hilft Teams:
- die Blockrate zu reduzieren
- die Erfolgsquote zu verbessern
- die Sitzungsüberlebensfähigkeit zu schützen
- die CPSR zu senken
- die Crawlfenster zu stabilisieren
- weiche Blockierungen zu reduzieren
- Wiederholungsstürme zu vermeiden
- sauberere Daten zu sammeln
CPSR bedeutet Kosten pro erfolgreicher Anfrage.
In einfachen Worten: CPSR sagt Ihnen, wie viel jedes gültige Ergebnis nach den Proxy-Ausgaben, der Berechnung, dem Rendern im Browser, Wiederholungen und fehlgeschlagenen Versuchen kostet.
Ein schnellerer Scraper ist nicht besser, wenn die zusätzliche Geschwindigkeit die CPSR erhöht und die Datenqualität senkt.
Kernkonzepte: RPS, Parallelität und Identität
Bevor Sie Limits festlegen, verstehen Sie die drei Hauptkontrollen.
Anfragen pro Sekunde
Anfragen pro Sekunde, oder RPS, misst, wie viele neue Anfragen innerhalb einer Sekunde gestartet werden. Ein Scraper, der mit 5 RPS läuft, startet fünf Anfragen pro Sekunde.
RPS kontrolliert das Tempo.
Parallelität
Parallelität misst, wie viele Anfragen gleichzeitig in Bearbeitung sind. Ein Scraper kann nur 1 Anfrage pro Sekunde starten, hat aber trotzdem 20 gleichzeitige Anfragen, wenn die Seiten langsam sind.
Parallelität kontrolliert den Druck.
Identität
Websites beschränken den Datenverkehr oft nach Identität und nicht nur nach Domain. Die Identität kann Folgendes umfassen:
- IP-Adresse
- Proxy-Endpunkt
- Subnetz
- ASN
- Sitzungscookie
- Konto
- Browserprofil
- Gerätefingerabdruck
- geografische Route
Eine Ratenbegrenzung, die nur das globale RPS kontrolliert, kann dennoch einen Proxy, eine Sitzung oder einen Pfad überlasten. Produktionsscraper benötigen Limits nach Identität und Ziel.
Schnelle Antwort: Beste Ratenbegrenzungsstrategie für Scraper
- Verwenden Sie einen Token-Bucket oder einen ähnlichen Limiter für das durchschnittliche Anfrage-Tempo.
- Fügen Sie pro Domain, Pfad und Identität Beschränkungen für die gleichzeitige Verarbeitung hinzu.
- Fügen Sie Jitter hinzu, um perfekte Maschinenzeitpunkte zu vermeiden.
- Reduzieren Sie schnell bei 429, 403, CAPTCHA, Herausforderungsseiten und steigender Latenz.
- Verwenden Sie Sticky Sessions für Workflows, die Cookies oder mehrstufige Kontinuität erfordern.
- Verfolgen Sie Erfolgsquote, Blockquote, Wiederholtiefe, Latenz, Sitzungsüberleben und CPSR.
- Erhöhen Sie die Geschwindigkeit schrittweise nur nach stabilen Zeitfenstern.
Das Ziel ist eine kontrollierte Durchsatzrate, nicht die maximale Durchsatzrate.
Ratenbegrenzung nach Domain, Pfad und Identität
Ein häufiger Fehler besteht darin, ein globales Limit für jedes Ziel anzuwenden.
Eine bessere Konfiguration verwendet mehrere Limit-Ebenen.
Pro-Domain-Limits
Pro-Domain-Limits verhindern, dass eine Zielseite zu viel Verkehr erhält.
Beispiel:
example.com: maximal 2 RPSstore.example.com: maximal 1 RPSapi.example.com: maximal 0,5 RPS
Dies schützt die stabilität spezifischer Ziele.
Pro-Pfad-Limits
Nicht alle Seiten haben die gleiche Sensibilität.
Produktseiten können ein Tempo tolerieren. Suchseiten, Checkout-Pfade, Anmeldeseiten und Bestandsendpunkte benötigen möglicherweise ein viel langsameres Tempo.
Beispiele für strengere Pfadklassen:
/search/availability/cart/checkout/login- dynamische API-Endpunkte
- JavaScript-gerenderte Ergebnisseiten
Pro-Identitäts-Limits
Wenn Sie Proxys verwenden, sollte jeder Proxy oder jede Sitzung ihr eigenes Limit haben.
Ein Scraper, der Datacenter-Proxys, Residential-Proxys oder ISP-Routen verwendet, sollte vermeiden, zu viel Verkehr über eine Identität zu leiten.
Pro-Identitäts-Limits helfen, den Ruf des Proxys zu bewahren und reduzierte Clusterblöcke zu vermeiden.
Token-Bucket vs. Leaky-Bucket vs. Festes Fenster
Verschiedene Limiter-Typen funktionieren besser für unterschiedliche Arbeitslasten.
| Limiter-Typ | Am besten geeignet für | Stärke | Schwäche |
|---|---|---|---|
| ---------------- | ------------------------- | ----------------------------------------------------- | ---------------------------------------------- |
| Token-Bucket | Die meisten Scraping-Pipelines | Ermöglicht kontrollierte Spitzen bei gleichzeitiger Durchsetzung des Durchschnittstempos | Kann immer noch ansteigen, wenn zu aggressiv konfiguriert |
| Leaky-Bucket | Sanfter, stetiger Verkehr | Sehr vorhersehbare Ausgabe | Kann Kapazität während sicherer Fenster unterauslasten |
| Festes Fenster | Einfache Skripte und Pilotprojekte | Einfach zu implementieren | Kann Grenzspitzen erzeugen |
| Gleitendes Fenster | Präzisere Ratenkontrolle | Besser als feste Fenster für Fairness | Etwas komplexer |
| Adaptiver Limiter | Produktions-Scraper | Reagiert auf Live-Feedback | Erfordert gute Metriken |
Für die meisten Scraper ist ein Token-Bucket plus gleichzeitige Beschränkungen und adaptives Zurückfahren ein starker Ausgangspunkt.
Startlimits für verschiedene Arbeitslasten
Es gibt keine universelle sichere Rate. Beginnen Sie konservativ und passen Sie dann mit Metriken an.
| Arbeitslast | Vorgeschlagener Ausgangspunkt |
|---|---|
| ------------------------ | -------------------------------------------------- |
| Statische öffentliche HTML-Seiten | 1–2 RPS pro Identität, 2–4 gleichzeitige Verbindungen pro Domain |
| Produktdetailseiten | 0,5–1 RPS pro Identität, 1–3 gleichzeitige Verbindungen pro Domain |
| Suchergebnisseiten | 0,2–0,8 RPS pro Identität, strenge Pfadlimits |
| JavaScript-intensive Seiten | 0,2–0,5 RPS pro Identität, 1–2 Browsersitzungen |
| Anmelde- oder Kontoflüsse | Niedriges Tempo, sticky/statische Sitzungen |
| Lokale SEO-Überprüfungen | Niedriges bis moderates Tempo nach Standort und Sitzung |
| Reisepreiskontrollen | Niedriges Tempo, längere Abkühlzeiten, strenge Wiederholungsgrenzen |
Dies sind Ausgangspunkte, keine permanenten Einstellungen. Die richtige Rate ist diejenige, die gültige Ausgaben bei akzeptablem CPSR erzeugt.
Adaptive Ratenbegrenzung
Die adaptive Ratenbegrenzung ändert das Anfragetempo basierend auf Live-Signalen.
Anstatt für immer feste Werte zu verwenden, beobachtet der Scraper Metriken und passt sich an.
Nützliche Signale sind:
- 429-Rate
- 403-Rate
- CAPTCHA-Rate
- Challenge-Rate
- p95-Latenz
- Timeout-Rate
- Retry-Tiefe
- Sitzungsüberleben
- Soft-Block-Rate
- Gültige Inhaltsrate
Eine einfache adaptive Schleife:
- Beginnen Sie mit konservativen Grenzen.
- Messen Sie die Ergebnisse über ein festes Zeitfenster.
- Wenn die Blockrate steigt, reduzieren Sie RPS und Parallelität.
- Wenn die Latenz ansteigt, senken Sie zuerst die Parallelität.
- Wenn die Wiederholungen zunehmen, pausieren oder kühlen Sie die betroffenen Routen ab.
- Wenn mehrere Fenster stabil bleiben, erhöhen Sie RPS langsam.
- Stoppen Sie die Erhöhung, wenn sich CPSR verschlechtert.
Dies verhindert, dass der Scraper überreagiert, wenn ein Fehler auftritt, reagiert jedoch dennoch schnell auf echte Reibungen.
So reagieren Sie auf 429-Fehler
Eine 429 Too Many Requests-Antwort ist das klarste Signal für eine Ratenbegrenzung.
Wenn Sie 429 sehen:
- respektieren Sie
Retry-After-Header, wenn vorhanden - hören Sie sofort mit dem Wiederholen auf
- reduzieren Sie RPS für diese Identität
- reduzieren Sie die pfadspezifische Parallelität
- fügen Sie exponentielles Backoff hinzu
- fügen Sie Jitter hinzu
- kühlen Sie die betroffene Route ab
- überwachen Sie, ob 429 nach Domain, IP, Pfad oder Konto gruppiert sind
Behandeln Sie 429 nicht als normalen Wiederholversuch. Es ist ein Feedback, dass der Scraper zu schnell für diese Route oder diesen Endpunkt ist.
Für umfassendere Fehlersuche siehe Häufige Proxy-Fehler und wie man sie behebt.
So reagieren Sie auf 403-Fehler
Ein 403 kann auf Zugriffsregeln, IP-Reputation, Bot-Erkennung, fehlenden Sitzungsstatus oder übermäßigen Verkehrsdruck hinweisen.
Wenn 403 zunehmen:
- reduzieren Sie die Parallelität
- inspizieren Sie den Antwortinhalt
- überprüfen Sie, ob die Seite blockiert oder soft-blockiert ist
- überprüfen Sie Header und Cookies
- vergleichen Sie Proxy-Routen
- überprüfen Sie Geo- und Locale-Konsistenz
- überprüfen Sie, ob der Zielpfad erlaubt ist
- vermeiden Sie Wiederholungsstürme
Wenn 403 nach einer Verlangsamung stark zurückgehen, waren Rate und Parallelität wahrscheinlich beitragende Faktoren.
Für tiefere Anleitungen siehe Verstehen von 403-Fehlern beim Scraping.
Ratenbegrenzung und Cloudflare-Blockierungen
Cloudflare-geschützte Seiten können WAF-Regeln, Bot-Management, Ratenbegrenzungen, Geo-Richtlinien und Browser-Herausforderungen anwenden. Die Ratenbegrenzung ist nur ein Teil der Lösung, aber oft der erste Punkt, der verbessert werden kann.
Wenn die Cloudflare-Blockierungen zunehmen:
- staffeln Sie die Jobpläne
- reduzieren Sie die Anfragerate pro Pfad
- fügen Sie Backoff nach Herausforderungen hinzu
- vermeiden Sie direkte Zugriffe auf sensible Pfade
- verwenden Sie Caching, wo möglich
- halten Sie Sitzungen stabil, wo nötig
- validieren Sie den zurückgegebenen Inhalt
- vergleichen Sie die Routentypen sorgfältig
Verlassen Sie sich nicht allein auf aggressives Proxy-Wechseln. Wenn das Anfrageverhalten das Problem ist, kann das Ändern der IPs es möglicherweise nicht lösen.
Für verwandte Details siehe Cloudflare-Blockierungen für Entwickler erklärt.
Jitter: Warum Zufälligkeit hilft
Maschinenperfekte Zeitmessung ist leicht zu erkennen und kann synchronisierte Spitzen erzeugen.
Jitter bedeutet, kleine zufällige Variationen im Anfragezeitpunkt hinzuzufügen.
Verwenden Sie Jitter für:
- Anfrageintervalle
- Wiederholverzögerungen
- Worker-Start
- Token-Nachfüllzeit
- Crawl-Zeitfenster
- Wartezeiten bei Browseraktionen
Beispiel:
Anstatt eine Anfrage genau jede Sekunde zu senden, senden Sie die nächste Anfrage nach einer zufälligen Verzögerung zwischen 0,8 und 1,2 Sekunden.
Jitter sollte bescheiden und kontrolliert sein. Es ist nicht dazu gedacht, menschliches Verhalten rücksichtslos zu fälschen. Es verhindert einfach scharfe, synchronisierte Verkehrsströme.
Backoff-Strategie
Backoff ist, wie ein Scraper nach Fehlern langsamer wird.
Eine praktische Backoff-Strategie:
- einmal bei transienten Netzwerkfehlern wiederholen
- exponentielles Backoff für 429 und 5xx verwenden
- längere Abkühlzeiten nach CAPTCHA- oder Challenge-Seiten anwenden
- die Gesamtzahl der Wiederholversuche begrenzen
- das Wiederholen wiederholter 403 ohne Diagnose einstellen
- harte Fehler zur Überprüfung leiten
Beispiel für Backoff-Logik:
Attempt 1: wait 2 seconds
Attempt 2: wait 4 seconds
Attempt 3: wait 8 seconds
Then stop or queue for later review
Fügen Sie jedem Wartezeitraum Jitter hinzu.
Tiefe Wiederholungen erhöhen normalerweise die CPSR und können Blockierungen verschärfen.
Sitzungsbewusste Ratenbegrenzung
Die sitzungsbewusste Ratenbegrenzung verfolgt nicht nur die Domain, sondern auch die Sitzung.
Das ist wichtig für:
- Anmeldeflüsse
- Warenkörbe
- Checkout-Tests
- Geschäftsauswahl
- Paginierung
- lokale SERP-Überprüfungen
- JavaScript-intensive Browsing
- Produktvariantenprüfungen
Wenn eine Sitzung wertvoll ist, überlasten Sie sie nicht.
Verfolgen Sie:
- Seiten pro Sitzung
- Sitzungsdauer
- Blockierungen pro Sitzung
- Wiederholungstiefe pro Sitzung
- Sitzungsüberleben
- Proxy-Zuweisung
- Cookie-Zustand
Wenn Sitzungen frühzeitig fehlschlagen, reduzieren Sie das Tempo pro Sitzung und ziehen Sie in Betracht, mehr Sitzungen mit niedrigerer Geschwindigkeit zu verwenden, anstatt eine Sitzung stärker zu belasten.
Für das Routing-Verhalten siehe Rotating vs Static Proxies.
Proxy-Strategie und Ratenbegrenzung
Der Proxy-Typ beeinflusst das sichere Tempo.
Datacenter-Proxys können höhere Geschwindigkeiten auf toleranten öffentlichen Seiten unterstützen, aber sie können auf verbraucherorientierten Seiten stärkeren Blockierungen ausgesetzt sein.
Residential-Proxys können den Zugang und die Geo-Genauigkeit verbessern, sollten jedoch weiterhin sorgfältig ratenbegrenzt werden.
ISP-Proxys funktionieren möglicherweise gut für stabile wiederkehrende Sitzungen.
Mobile Proxys benötigen möglicherweise niedrigere Raten aufgrund von Kosten, Latenz und Verhalten der Anbieter.
Eine gute Strategie routet nach Arbeitslast:
| Arbeitslast | Proxy-Route | Ratenstrategie |
|---|---|---|
| -------------------------- | -------------------------------------- | --------------------------------------------- |
| Statische öffentliche Seiten | Datacenter | Mäßige RPS, höhere Parallelität, wenn toleriert |
| Produktseiten | Zuerst Datacenter, dann Residential | Konservative pro-Domain-Obergrenzen |
| Lokale SEO | Residential | Standortbewusste Sitzungen, geringere Burstigkeit |
| Anmelde-Workflows | Statische oder sticky Route | Niedriges Tempo, hohe Sitzungs-Kontinuität |
| Cloudflare-sensitive Seiten | Residential oder hybrid | Strenge Backoff- und Pfadgrenzen |
| Intensive Browserautomatisierung | Residential oder ISP | Niedrige Parallelität, längere Abkühlzeiten |
Für die Auswahl des Proxy-Typs siehe Datacenter vs Residential vs ISP Proxies Explained.
Weiche Blockierungen und Ratenlimits
Ein Scraper kann ratenbegrenzt werden, ohne eine 429 zu erhalten.
Weiche Blockierungen treten auf, wenn der Server HTTP 200 zurückgibt, aber der Inhalt ungültig oder unvollständig ist.
Beispiele:
- Produktpreis fehlt
- SERP-Ergebnisse fehlen
- generische Seitenvorlage
- falsche Region-Seite
- CAPTCHA im HTML versteckt
- leere Bestandsdaten
- wiederholte identische Antworten
- veralteter Inhalt
Die Ratenbegrenzung sollte auch auf weiche Blockierungen reagieren. Wenn die Rate der weichen Blockierungen steigt, verlangsamen Sie, inspizieren Sie die Fehlermuster und validieren Sie, ob das Problem bei Route, Sitzung, Pfad oder Parser-Abweichung liegt.
Was zu Messen Ist
Die Ratenbegrenzung sollte durch Metriken und nicht durch Vermutungen optimiert werden.
| Metrik | Warum es wichtig ist |
|---|---|
| ---------------- | ------------------------------------------------------- |
| Erfolgsquote | Zeigt gültige Ausgaben |
| Blockrate | Erfasst 403-, 429-, CAPTCHA- und Challenge-Seiten |
| Soft-Blockrate | Erkennt ungültige Inhalte, die als erfolgreich zurückgegeben werden |
| CPSR | Misst die Kosten pro erfolgreichem Ergebnis |
| Retry-Tiefe | Zeigt versteckte Instabilität |
| P95-Latenz | Enthüllt Druck auf Ziel oder Route |
| Durchsatz | Misst gültige Seiten pro Minute |
| Sitzungsüberleben | Zeigt die Stabilität mehrstufiger Workflows |
| Geo-Genauigkeit | Bestätigt standortsensitive Gültigkeit |
| Warteschlangenverzögerung | Zeigt, ob die Limits zu streng für Frischeziele sind |
Messen Sie diese nach Domain, Pfadtyp, Proxy-Route, Region und Scraper-Arbeiter. Durchschnitte verbergen Probleme.
Kostenkontrolle: Optimieren Sie für CPSR, nicht für rohe Geschwindigkeit
Ein Scraper kann mehr Seiten pro Minute sammeln, aber trotzdem teurer sein, wenn Blockierungen und Wiederholungen zunehmen.
Verwenden Sie CPSR, um Einstellungen zu vergleichen.
Beispiel:
- Einrichtung A: 10.000 Anfragen, 70% Erfolg, hohe Wiederholungen
- Einrichtung B: 7.000 Anfragen, 95% Erfolg, niedrige Wiederholungen
Einrichtung B kann bei niedrigeren Kosten mehr nutzbare Daten produzieren, obwohl sie weniger Anfragen sendet.
Das beste Rate-Limit liegt oft unter der maximalen Rate, die das System technisch senden kann.
Real-World-Szenario: E-Commerce-Preistracker
Ein Preismonitoring-Team sammelt Produktpreise über 40 Einzelhandels-Domains.
Die alte Einrichtung führt alle Jobs zur vollen Stunde aus. Blockierungen steigen, Wiederholungen nehmen zu, und Preisfelder fehlen.
Die verbesserte Einrichtung:
- stagniert Crawl-Fenster
- wendet pro-Domain-Obergrenzen an
- wendet strengere Limits auf Suchendpunkte an
- verwendet Wohnproxies für sensible Produktseiten
- fügt Jitter und exponentielles Backoff hinzu
- validiert Preis, Währung und Verfügbarkeit, bevor Daten gespeichert werden
Das Ergebnis sind weniger Blockierungen, sauberere Daten und niedrigere CPSR.
Real-World-Szenario: Reisepreisaggregator
Eine Reiseplattform sammelt Tarif- und Verfügbarkeitsdaten von JavaScript-lastigen Seiten.
Die alte Einrichtung führt zu viele Browsersitzungen gleichzeitig aus. Die Latenz steigt, Timeouts nehmen zu, und das Sitzungsüberleben sinkt.
Die verbesserte Einrichtung:
- begrenzt die Browserkonkurrenz pro Identität
- fügt längere Abkühlzeiten nach 403s hinzu
- trennt öffentliche Landingpages von dynamischen Ergebnisseiten
- verwendet Sticky Sessions für vollständige Suchabläufe
- überwacht P95-Latenz und Retry-Tiefe
Der Workflow wird pro Anfrage langsamer, aber pro gültigem Ergebnis schneller.
Real-World-Szenario: Lokale SEO-Überwachung
Ein SEO-Team sammelt lokale SERPs aus Hunderten von Standorten.
Die alte Einrichtung verwendet denselben Zeitplan und dieselbe Rate für jede Stadt. Einige Stadtprüfungen führen zu Blockierungen oder falschen Standort-SERPs.
Die verbesserte Einrichtung:
- verwendet standortspezifische Warteschlangen
- begrenzt Anfragen pro Stadt und Proxy-Route
- fügt Jitter zu Zeitplänen hinzu
- validiert lokale Pack-Stadt-Signale
- verlangsamt Märkte mit höheren Blockraten
Berichte werden zuverlässiger, da das System Ranking-Bewegungen von Sammlung-Instabilität trennt.
Häufige Fehlermodi
Plötzliche Autoskalierung
Neue Arbeiter starten zur gleichen Zeit und überwältigen Ziel-Domains.
Fix: Stagger Worker-Start und bewahren Sie den Limiter-Zustand über Deploys.
Nur globale Limits
Ein globales Limit mag sicher erscheinen, während ein Proxy oder Pfad überlastet ist.
Fix: Wenden Sie pro-Domain-, pro-Pfad- und pro-Identitätslimits an.
Ignorieren der Pfadsensitivität
Such-, Warenkorb-, Anmelde- und Verfügbarkeitsendpunkte benötigen möglicherweise strengere Limits als Produktseiten.
Fix: Klassifizieren Sie Pfade und weisen Sie separate Limiter zu.
Über-Ramping
Die Erhöhung der RPS zu schnell nach einem stabilen Fenster kann Oszillation erzeugen.
Fix: Langsam steigern und mehrere stabile Fenster erfordern.
Blinde Wiederholungen
Wiederholungen ohne Backoff erhöhen Druck und Kosten.
Fix: Begrenzen Sie Wiederholungen und klassifizieren Sie Fehler.
Ignorieren der Latenz
Steigende p95-Latenz tritt oft vor Blockierungen auf.
Fix: Reduzieren Sie die Parallelität, wenn die Latenz steigt.
Implementierungs-Checkliste
Vor der Produktionsbereitstellung:
- Definieren Sie pro-Domain-Limits.
- Definieren Sie pro-Pfad-Limits.
- Definieren Sie pro-Identitäts-Limits.
- Verwenden Sie Token-Bucket oder adaptive Begrenzungen.
- Fügen Sie Parallelitätsobergrenzen hinzu.
- Fügen Sie Jitter zu Zeitplänen und Wiederholungen hinzu.
- Respektieren Sie Retry-After-Header.
- Fügen Sie exponentielles Backoff hinzu.
- Begrenzen Sie die Wiederholtiefe.
- Verfolgen Sie die Erfolgsquote und die Blockierungsrate.
- Verfolgen Sie weiche Blockierungen.
- Verfolgen Sie CPSR.
- Speichern Sie Fehlermuster.
- Passen Sie die Limits nach Route und Arbeitslast an.
- Überprüfen Sie die Compliance- und Zugriffsregeln.
Für Einrichtungsmuster siehe die Proxy-Tutorials von SquidProxies und breitere Proxy-Anwendungsfälle.
Häufig gestellte Fragen
Was ist Ratenbegrenzung beim Scraping?
Ratenbegrenzung steuert, wie schnell ein Scraper Anfragen sendet und wie viele Anfragen gleichzeitig ausgeführt werden. Sie hilft, Blockierungen, Zeitüberschreitungen, Wiederholungen und den Druck auf die Zielseite zu reduzieren.
Was ist eine sichere Scraping-Rate?
Es gibt keine universelle sichere Rate. Beginnen Sie konservativ, überwachen Sie die Blockierungsrate und die Latenz, und erhöhen Sie dann schrittweise. Statische Seiten können höhere Raten tolerieren als JavaScript-intensive, Anmelde-, Warenkorb- oder Such-Workflows.
Sollte ich nach IP oder Domain begrenzen?
Beides. Verwenden Sie pro-Domain-Limits, um den gesamten Verkehr zu einer Seite zu steuern, und pro-Identitäts-Limits, um zu vermeiden, dass ein Proxy, eine Sitzung oder ein Konto überbeansprucht wird.
Was sollte ich nach einem 429-Fehler tun?
Langsam machen. Respektieren Sie die Retry-After-Header, reduzieren Sie RPS, fügen Sie Backoff hinzu und vermeiden Sie sofortige Wiederholungen.
Behebt das Hinzufügen von mehr Proxys Ratenlimits?
Nicht immer. Mehr Proxys können den Verkehr verteilen, aber wenn das Ziel Pfad- oder verhaltensbasierte Limits hat, benötigt der Workflow immer noch eine bessere Abstimmung.
Ist Token-Bucket gut für Scraper?
Ja. Token-Bucket ist ein starker Standard, da es die durchschnittliche Anfragerate steuert und gleichzeitig begrenzte Spitzen zulässt. Kombinieren Sie es mit Parallelitätsobergrenzen und Backoff.
Wie reduziert Ratenbegrenzung CPSR?
Bessere Abstimmung reduziert Blockierungen und Wiederholungen. Weniger Wiederholungen bedeuten geringere Proxy-Ausgaben, weniger Rechenverschwendung und mehr gültige Ergebnisse pro Dollar.
Wie passe ich Limits für die Browserautomatisierung an?
Verwenden Sie eine niedrigere Parallelität, längere Zeitüberschreitungen, sticky Sessions und strengeres Backoff. Browsersitzungen sind schwerer und empfindlicher als einfache HTTP-Anfragen.
Welche Metriken sollte ich überwachen?
Verfolgen Sie Erfolgsquote, Blockierungsrate, weiche Blockierungsrate, CPSR, Wiederholtiefe, p95-Latenz, Durchsatz, Sitzungsüberleben, geo-genauigkeit und Warteschlangenverzögerung.
Fazit
Die besten Praktiken zur Ratenbegrenzung für Scraper drehen sich um Kontrolle, Feedback und Messung. Feste Zahlen können für kleine Pilotprojekte funktionieren, aber Produktionssysteme benötigen adaptive Limits, die auf Blockierungen, Latenz, Wiederholungen und Datenqualität reagieren.
Beginnen Sie konservativ. Begrenzen Sie nach Domain, Pfad und Identität. Fügen Sie Jitter und Backoff hinzu. Respektieren Sie Ratenbegrenzungssignale. Verfolgen Sie CPSR, nicht nur die Anzahl der Anfragen. Erhöhen Sie die Geschwindigkeit nur nach stabilen Leistungsfenstern.
Der beste Scraper ist nicht derjenige, der die meisten Anfragen sendet. Es ist derjenige, der die meisten gültigen Daten zu den niedrigsten nachhaltigen Kosten zurückgibt.


