Retry-After 標頭是一個 HTTP 回應標頭,用於告訴客戶端在進行後續請求之前需要等待多長時間。伺服器可以在 429 Too Many Requests 回應中包含它,這是用於速率限制的狀態碼。對於爬蟲來說,尊重這個值意味著要暫停伺服器要求的時間,而不是隨意猜測,從而冒著更多請求被封鎖的風險。

該標頭是可選的,因此 429 回應可能不包含它。RFC 6585 也沒有定義伺服器如何識別用戶或計算請求。限制可能與登錄憑證或 cookie 相關,而不僅僅是與 IP 地址相關。

Retry-After 值格式

  • 以秒為單位的延遲: 一個非負整數,例如 Retry-After: 120。
  • HTTP 日期: 一個可以重試的日期,例如 Retry-After: Wed, 21 Oct 2015 07:28:00 GMT。
  • 出現位置: 在 429 回應中,與 503 服務不可用一起顯示以顯示故障應持續多長時間,以及在 301 等重定向中設置最小等待時間。

其他速率限制標頭

  • 供應商標頭: 一些 API 添加自己的字段。例如,GitHub 的 REST API 發送 x-ratelimit-limit、x-ratelimit-remaining、x-ratelimit-used 和 x-ratelimit-reset。
  • 提議標準: 一個 IETF 互聯網草案定義了 RateLimit 和 RateLimit-Policy 字段,以便伺服器可以宣傳配額政策和剩餘配額。這仍然是一個草案,而不是已發佈的 RFC。
  • 重試邏輯: GitHub 建議在 retry-after 存在時等待該秒數,並在請求持續失敗時指數增加等待時間。

誰尊重 Retry-After

  • 支持不一: MDN 指出,客戶端和伺服器對 Retry-After 的支持仍然不一致。
  • 搜索爬蟲: 一些爬蟲,例如 Googlebot,會尊重它。Google 表示,網站可以在 503 或 429 回應中發送 Retry-After,以告訴其爬蟲何時重試。
  • 保持簡短: Google 建議不要在同一 URL 上提供 500、503 或 429 以減慢爬取超過 1-2 天。如果 Googlebot 在幾天內在同一 URL 上看到這些代碼,它可能會將該 URL 從其索引中刪除。

相關術語