Retry-After ヘッダーは、クライアントにフォローアップリクエストを行う前にどれくらい待つべきかを伝える HTTP レスポンスヘッダーです。サーバーは、レート制限のステータスコードである 429 Too Many Requests レスポンスにこれを含めることができます。スクレイパーにとって、この値を尊重することは、サーバーが要求した時間だけ待機することを意味し、推測してさらにブロックされたリクエストをリスクにさらすことを避けることができます。

このヘッダーはオプションであるため、429 レスポンスには含まれない場合があります。RFC 6585 では、サーバーがユーザーを識別したりリクエストをカウントしたりする方法も定義されていません。制限は、IP アドレスだけでなく、ログイン資格情報やクッキーに関連付けられている場合があります。

Retry-After 値の形式

  • 秒単位の遅延: Retry-After: 120 のような非負の整数。
  • HTTP 日付: Retry-After: Wed, 21 Oct 2015 07:28:00 GMT のような、再試行する日付。
  • 出現場所: 429 レスポンス、503 Service Unavailable で障害がどれくらい続くかを示すため、301 などのリダイレクトで最小待機時間を設定するために使用されます。

その他のレート制限ヘッダー

  • ベンダーヘッダー: 一部の API は独自のフィールドを追加します。たとえば、GitHub の REST API は x-ratelimit-limit、x-ratelimit-remaining、x-ratelimit-used、x-ratelimit-reset を送信します。
  • 提案された標準: IETF インターネットドラフトは、サーバーがクォータポリシーと残りのクォータを広告できるように RateLimit と RateLimit-Policy フィールドを定義しています。これはまだドラフトであり、公開された RFC ではありません。
  • 再試行ロジック: GitHub は、リクエストが失敗し続ける場合は、retry-after に示された秒数待機し、待機時間を指数関数的に増加させることを推奨しています。

Retry-After を尊重する者

  • サポートは異なる: MDN は、Retry-After に対するクライアントとサーバーのサポートが依然として不一致であると指摘しています。
  • 検索クローラー: Googlebot などの一部のクローラーはこれを尊重します。Google は、サイトが 503 または 429 レスポンスで Retry-After を送信して、クローラーに再試行のタイミングを伝えることができると述べています。
  • 短く保つ: Google は、500、503、または 429 を提供してクロールを遅くすることを 1-2 日以上行わないように推奨しています。Googlebot が数日間同じ URL でこれらのコードを確認すると、その URL をインデックスから削除する可能性があります。

関連用語