Die Ratenbegrenzung ist eine Kontrolle, die festlegt, wie viele Anfragen ein Client, identifiziert durch die IP-Adresse oder das Benutzerkonto, innerhalb eines festgelegten Zeitfensters stellen kann, und dann Anfragen über dem Limit blockiert oder verzögert. Server signalisieren dies mit HTTP 429 Zu viele Anfragen, was einen Retry-After-Header enthalten kann, der angibt, wie lange man warten soll, bevor man es erneut versucht.
Ebenen, auf denen Ratenlimits durchgesetzt werden
- Pro IP
- Pro Subnetz
- Pro API-Schlüssel
- Pro Konto
Wenn ein Client diese überschreitet, kann der Server vorübergehend aufhören, seine Anfragen zu erfüllen, und mit HTTP 429 "Zu viele Anfragen" antworten. Das Verteilen von Anfragen über einen großen, rotierenden Proxy-Pool verteilt sie über viele pro-IP-Zähler, was hilft, jede IP unter den pro-IP-Ratenlimits im großen Maßstab zu halten.
Häufige Ratenbegrenzungsalgorithmen
- Fester Zeitraum: Zählt Anfragen und setzt den Zähler zu Beginn jedes Zeitraums zurück, sodass Verkehrsspitzen um jede Rücksetzung herum durchrutschen können.
- Gleitender Zeitraum: Gewichtet die Anzahl der Anfragen des vorherigen Zeitraums nach dem Anteil, der sich mit dem aktuellen Zeitraum überschneidet, was diese Spitzen glättet.
- Token-Bucket: Tokens füllen sich mit einer festen Rate bis zu einem Maximum. Jede Anfrage verbraucht einen, sodass Spitzen bis zur Größe des Buckets erlaubt sind.
- Leaky Bucket: Anfragen werden mit konstanter Rate abgebaut. Wenn der Bucket voll ist, werden neue Anfragen abgelehnt.
Warum Websites Ratenbegrenzung verwenden
Scraping ist nur ein Ziel. Ratenlimits helfen auch:
- Brute-Force-Loginversuche zu verlangsamen, was Cloudflare empfiehlt, sowohl nach IP-Adresse als auch nach Benutzername zu verfolgen.
- Grobe DoS- und DDoS-Verkehrsfluten abzuwehren.
- Die API-Nutzung innerhalb der pro Benutzer festgelegten Quoten zu halten, wie z. B. eine festgelegte Anzahl von Aufrufen pro Stunde oder Tag, selbst wenn die Übernutzung nicht böswillig ist.