Retry-After 头部是一个 HTTP 响应头,告诉客户端在发起后续请求之前需要等待多长时间。服务器可以在 429 Too Many Requests 响应中包含它,这是速率限制的状态码。对于爬虫来说,遵循这个值意味着暂停等待服务器要求的时间,而不是猜测并冒着更多请求被阻止的风险。

该头部是可选的,因此 429 响应可能没有它。RFC 6585 也没有定义服务器如何识别用户或计算请求。限制可能与登录凭据或 cookie 相关,而不仅仅是与 IP 地址相关。

Retry-After 值格式

  • 以秒为单位的延迟: 一个非负整数,例如 Retry-After: 120。
  • HTTP 日期: 一个可以重试的日期,例如 Retry-After: Wed, 21 Oct 2015 07:28:00 GMT。
  • 出现位置: 在 429 响应中,在 503 Service Unavailable 中显示停机时间,以及在重定向(如 301)中设置最小等待时间。

其他速率限制头部

  • 供应商头部: 一些 API 添加自己的字段。例如,GitHub 的 REST API 发送 x-ratelimit-limit、x-ratelimit-remaining、x-ratelimit-used 和 x-ratelimit-reset。
  • 提议标准: 一个 IETF Internet-Draft 定义了 RateLimit 和 RateLimit-Policy 字段,以便服务器可以宣传配额政策和剩余配额。它仍然是草案,而不是已发布的 RFC。
  • 重试逻辑: GitHub 建议在 retry-after 存在时等待相应的秒数,并在请求持续失败时指数增加等待时间。

谁遵循 Retry-After

  • 支持情况各异: MDN 指出,客户端和服务器对 Retry-After 的支持仍然不一致。
  • 搜索爬虫: 一些爬虫,如 Googlebot,遵循它。Google 表示,网站可以在 503 或 429 响应中发送 Retry-After,以告知其爬虫何时重试。
  • 保持简短: Google 建议不要在同一 URL 上提供 500、503 或 429 以减慢爬取超过 1-2 天。如果 Googlebot 在同一 URL 上看到这些代码几天,它可能会将该 URL 从索引中删除。

相关术语