Retry-After 標頭是一個 HTTP 回應標頭,告訴客戶端在發送後續請求之前需要等待多長時間。伺服器可以在 429 Too Many Requests 回應中包含它,這是用於速率限制的狀態碼。對於爬蟲來說,遵守這個值意味著要暫停與伺服器要求的時間一樣長,而不是隨意猜測,從而冒著更多請求被封鎖的風險。

這個標頭是可選的,因此 429 回應可能沒有它。RFC 6585 也沒有定義伺服器如何識別用戶或計算請求。限制可能與登錄憑證或 cookie 相關,而不僅僅是與 IP 地址相關。

Retry-After 值格式

  • 以秒為單位的延遲: 一個非負整數,例如 Retry-After: 120。
  • HTTP 日期: 一個可以重試的日期,例如 Retry-After: Wed, 21 Oct 2015 07:28:00 GMT。
  • 出現位置: 在 429 回應中,與 503 服務不可用一起顯示以顯示故障應持續多長時間,以及與 301 等重定向一起設置最小等待時間。

其他速率限制標頭

  • 供應商標頭: 一些 API 添加自己的字段。例如,GitHub 的 REST API 發送 x-ratelimit-limit、x-ratelimit-remaining、x-ratelimit-used 和 x-ratelimit-reset。
  • 提議標準: 一個 IETF 互聯網草案定義了 RateLimit 和 RateLimit-Policy 字段,以便伺服器可以廣告配額政策和剩餘配額。這仍然是一個草案,而不是已發佈的 RFC。
  • 重試邏輯: GitHub 建議在 retry-after 存在時等待該秒數,如果請求不斷失敗,則指數增加等待時間。

誰遵守 Retry-After

  • 支持各異: MDN 指出,客戶端和伺服器對 Retry-After 的支持仍然不一致。
  • 搜索爬蟲: 一些爬蟲,例如 Googlebot,會遵守它。Google 表示,網站可以在 503 或 429 回應中發送 Retry-After,以告訴其爬蟲何時重試。
  • 保持簡短: Google 建議不要將 500、503 或 429 提供給爬蟲超過 1-2 天。如果 Googlebot 在同一 URL 上看到這些代碼幾天,它可能會將該 URL 從索引中刪除。

相關術語