Der Retry-After-Header ist ein HTTP-Antwortheader, der einem Client mitteilt, wie lange er warten soll, bevor er eine Folgeanfrage stellt. Ein Server kann ihn in einer 429 Too Many Requests-Antwort einfügen, dem Statuscode für die Ratenbegrenzung. Für einen Scraper bedeutet die Beachtung dieses Wertes, dass er so lange pausiert, wie es der Server verlangt, anstatt zu raten und das Risiko weiterer blockierter Anfragen einzugehen.
Der Header ist optional, sodass eine 429-Antwort auch ohne ihn eintreffen kann. RFC 6585 definiert auch nicht, wie ein Server den Benutzer identifiziert oder Anfragen zählt. Eine Begrenzung kann an Anmeldeinformationen oder ein Cookie gebunden sein, nicht nur an eine IP-Adresse.
Retry-After-Wertformate
- Verzögerung in Sekunden: Eine nicht-negative ganze Zahl, wie
Retry-After: 120. - HTTP-Datum: Ein Datum, nach dem man es erneut versuchen kann, wie
Retry-After: Wed, 21 Oct 2015 07:28:00 GMT. - Wo es erscheint: Bei 429-Antworten, bei 503 Service Unavailable, um zu zeigen, wie lange die Störung dauern sollte, und bei Weiterleitungen wie 301, um eine Mindestwartezeit festzulegen.
Andere Ratenlimit-Header
- Anbieter-Header: Einige APIs fügen ihre eigenen Felder hinzu. Die REST-API von GitHub sendet beispielsweise
x-ratelimit-limit,x-ratelimit-remaining,x-ratelimit-usedundx-ratelimit-reset. - Vorgeschlagener Standard: Ein IETF-Internet-Draft definiert die Felder
RateLimitundRateLimit-Policy, damit Server Quotenrichtlinien und verbleibende Quoten anzeigen können. Es ist noch ein Entwurf, kein veröffentlichtes RFC. - Retry-Logik: GitHub empfiehlt, die Anzahl der Sekunden in
retry-afterabzuwarten, wenn vorhanden, und die Wartezeit exponentiell zu erhöhen, wenn Anfragen weiterhin fehlschlagen.
Wer den Retry-After beachtet
- Unterstützung variiert: MDN stellt fest, dass die Unterstützung von Client und Server für Retry-After weiterhin inkonsistent ist.
- Suchcrawler: Einige Crawler, wie Googlebot, beachten ihn. Google sagt, eine Website kann Retry-After mit einer 503- oder 429-Antwort senden, um ihrem Crawler mitzuteilen, wann er es erneut versuchen soll.
- Halten Sie es kurz: Google rät davon ab, 500, 503 oder 429 zu bedienen, um das Crawlen länger als 1-2 Tage zu verlangsamen. Wenn Googlebot diese Codes auf derselben URL mehrere Tage sieht, kann er diese URL aus seinem Index entfernen.