请求限速是故意减慢爬虫发送请求的速率,在请求之间添加延迟,以避免对目标网站的服务器造成过大压力。

该术语也用于服务器端。微软将限速描述为云 API 用于限制在一定时间内可以发出的请求数量的技术,以便 API 对所有用户保持可用。无论哪种方式,目标都是相同的:保持流量在服务器可以处理的速度。

限速与速率限制

限速速率限制
主要思想控制请求的速度限制时间窗口内的请求数量
超过请求通常会延迟或分散通常会被拒绝
适用对象客户端、服务器或两者通常是服务器
典型信号响应变慢,或 429 与 Retry-After429 Too Many Requests

这两个术语在实践中是重叠的。例如,AWS 将超过限制的限速请求描述为被拒绝,并返回 429 Too Many Requests 错误。有关服务器如何计算请求,请参见 速率限制。

服务器如何限速

  • 令牌桶: AWS 推荐这种算法,每个请求使用一个令牌,令牌以每秒设定的速率补充。
  • 状态码: 最常见的信号是 429 Too Many Requests。微软指出,并非每个 API 都使用它:GitHub 可能会以 403 响应。
  • 等待时间: 一些 API 添加了 Retry-After header,说明在下一个请求之前需要等待多长时间。

爬虫如何自我限速

  • 固定延迟: 对同一网站的请求之间设置暂停。
  • 随机延迟: Scrapy 的 DOWNLOAD_DELAY_JITTER 设置为每个延迟添加随机变化,以便请求不会在精确的节拍上到达。
  • 自适应延迟: Scrapy 的 AutoThrottle 扩展 根据网站的响应进行调整。它将目标延迟设置为服务器的延迟除以目标并发,并且在错误响应时不会加速。
  • 并发上限: 对一个网站的连接数减少 并发连接 也会降低请求速率。

重试可能会撤销限速

爬虫可以很好地控制其第一次请求的速率,但仍然可能通过重试淹没一个网站。亚马逊 Builders' Library 的一篇文章警告说,如果系统超载,重试可能会使超载情况变得更糟,而不是更好。它给出了一个例子,其中每个独立重试的层会将数据库的负载提高 243 倍。

同一篇文章列出了修复措施:

  1. 指数退避: 在每次失败尝试后增加等待时间。
  2. 添加抖动: 为每次等待添加随机性,以便重试在时间上分散,而不是同时到达。
  3. 设定上限: 设置最大等待时间和最大重试次数。

这对网络爬虫意味着什么

  • 按网站限速,而不是按任务: 限制适用于每个目标,因此对每个域名的请求速率要单独控制。
  • 将 429 视为暂停: 等待 Retry-After 时间,或者在没有时使用抖动进行退避。
  • 新 IP 不会替代速率控制: 在 429 后切换 IP 如果网站还按 cookie、账户或指纹计数,则无济于事。

相关术语