Retry-After 头部是一个 HTTP 响应头,告诉客户端在发起后续请求之前需要等待多长时间。服务器可以在 429 Too Many Requests 响应中包含它,这是速率限制的状态码。对于爬虫来说,遵循这个值意味着暂停等待服务器要求的时间,而不是猜测并冒着更多请求被阻止的风险。
该头部是可选的,因此 429 响应可能没有它。RFC 6585 也没有定义服务器如何识别用户或计算请求。限制可能与登录凭据或 cookie 相关,而不仅仅是与 IP 地址相关。
Retry-After 值格式
- 以秒为单位的延迟: 一个非负整数,例如
Retry-After: 120。 - HTTP 日期: 一个可以重试的日期,例如
Retry-After: Wed, 21 Oct 2015 07:28:00 GMT。 - 出现位置: 在 429 响应中,在 503 Service Unavailable 中显示停机时间,以及在重定向(如 301)中设置最小等待时间。
其他速率限制头部
- 供应商头部: 一些 API 添加自己的字段。例如,GitHub 的 REST API 发送
x-ratelimit-limit、x-ratelimit-remaining、x-ratelimit-used和x-ratelimit-reset。 - 提议标准: 一个 IETF Internet-Draft 定义了
RateLimit和RateLimit-Policy字段,以便服务器可以宣传配额政策和剩余配额。它仍然是草案,而不是已发布的 RFC。 - 重试逻辑: GitHub 建议在
retry-after存在时等待相应的秒数,并在请求持续失败时指数增加等待时间。
谁遵循 Retry-After
- 支持情况各异: MDN 指出,客户端和服务器对 Retry-After 的支持仍然不一致。
- 搜索爬虫: 一些爬虫,如 Googlebot,遵循它。Google 表示,网站可以在 503 或 429 响应中发送 Retry-After,以告知其爬虫何时重试。
- 保持简短: Google 建议不要在同一 URL 上提供 500、503 或 429 以减慢爬取超过 1-2 天。如果 Googlebot 在同一 URL 上看到这些代码几天,它可能会将该 URL 从索引中删除。