Die Anforderungsdrosselung ist die absichtliche Praxis, die Rate, mit der ein Scraper Anfragen sendet, zu verlangsamen, indem Verzögerungen zwischen ihnen hinzugefügt werden, um natürliche menschliche Browsing-Muster nachzuahmen und unter den Ratenlimits einer Zielseite zu bleiben. Drosselung tauscht Geschwindigkeit gegen Zuverlässigkeit aus, wodurch die Wahrscheinlichkeit verringert wird, Ratenlimits oder Bot-Erkennung-Systeme auszulösen.
Die Drosselung kann zufällige anstelle von festen Verzögerungen zwischen Anfragen verwenden (zum Beispiel fügt die Einstellung DOWNLOAD_DELAY_JITTER von Scrapy zufällige Variationen zu jeder Verzögerung hinzu). Drosselung und Proxy-Rotation arbeiten zusammen, anstatt sich gegenseitig zu ersetzen: Rotation verteilt die Last auf viele IPs, während Drosselung steuert, wie aggressiv jede einzelne IP genutzt wird.
Drosselung kann auch auf die Antworten einer Seite reagieren, wie es die AutoThrottle-Erweiterung von Scrapy tut, indem sie Verzögerungen an die Serverlatenz anpasst und bei Fehlerantworten nicht beschleunigt, anstatt sich auf eine im Voraus festgelegte Verzögerung zu verlassen.