Retry-After 標頭是一個 HTTP 回應標頭,告訴客戶端在發送後續請求之前需要等待多長時間。伺服器可以在 429 Too Many Requests 回應中包含它,這是用於速率限制的狀態碼。對於爬蟲來說,遵守這個值意味著要暫停與伺服器要求的時間一樣長,而不是隨意猜測,從而冒著更多請求被封鎖的風險。
這個標頭是可選的,因此 429 回應可能沒有它。RFC 6585 也沒有定義伺服器如何識別用戶或計算請求。限制可能與登錄憑證或 cookie 相關,而不僅僅是與 IP 地址相關。
Retry-After 值格式
- 以秒為單位的延遲: 一個非負整數,例如
Retry-After: 120。 - HTTP 日期: 一個可以重試的日期,例如
Retry-After: Wed, 21 Oct 2015 07:28:00 GMT。 - 出現位置: 在 429 回應中,與 503 服務不可用一起顯示以顯示故障應持續多長時間,以及與 301 等重定向一起設置最小等待時間。
其他速率限制標頭
- 供應商標頭: 一些 API 添加自己的字段。例如,GitHub 的 REST API 發送
x-ratelimit-limit、x-ratelimit-remaining、x-ratelimit-used和x-ratelimit-reset。 - 提議標準: 一個 IETF 互聯網草案定義了
RateLimit和RateLimit-Policy字段,以便伺服器可以廣告配額政策和剩餘配額。這仍然是一個草案,而不是已發佈的 RFC。 - 重試邏輯: GitHub 建議在
retry-after存在時等待該秒數,如果請求不斷失敗,則指數增加等待時間。
誰遵守 Retry-After
- 支持各異: MDN 指出,客戶端和伺服器對 Retry-After 的支持仍然不一致。
- 搜索爬蟲: 一些爬蟲,例如 Googlebot,會遵守它。Google 表示,網站可以在 503 或 429 回應中發送 Retry-After,以告訴其爬蟲何時重試。
- 保持簡短: Google 建議不要將 500、503 或 429 提供給爬蟲超過 1-2 天。如果 Googlebot 在同一 URL 上看到這些代碼幾天,它可能會將該 URL 從索引中刪除。