请求限速是故意减慢爬虫发送请求的速率,在请求之间添加延迟,以避免对目标网站的服务器造成过大压力。
该术语也用于服务器端。微软将限速描述为云 API 用于限制在一定时间内可以发出的请求数量的技术,以便 API 对所有用户保持可用。无论哪种方式,目标都是相同的:保持流量在服务器可以处理的速度。
限速与速率限制
| 限速 | 速率限制 | |
|---|---|---|
| 主要思想 | 控制请求的速度 | 限制时间窗口内的请求数量 |
| 超过请求 | 通常会延迟或分散 | 通常会被拒绝 |
| 适用对象 | 客户端、服务器或两者 | 通常是服务器 |
| 典型信号 | 响应变慢,或 429 与 Retry-After | 429 Too Many Requests |
这两个术语在实践中是重叠的。例如,AWS 将超过限制的限速请求描述为被拒绝,并返回 429 Too Many Requests 错误。有关服务器如何计算请求,请参见 速率限制。
服务器如何限速
- 令牌桶: AWS 推荐这种算法,每个请求使用一个令牌,令牌以每秒设定的速率补充。
- 状态码: 最常见的信号是
429 Too Many Requests。微软指出,并非每个 API 都使用它:GitHub 可能会以403响应。 - 等待时间: 一些 API 添加了 Retry-After header,说明在下一个请求之前需要等待多长时间。
爬虫如何自我限速
- 固定延迟: 对同一网站的请求之间设置暂停。
- 随机延迟: Scrapy 的
DOWNLOAD_DELAY_JITTER设置为每个延迟添加随机变化,以便请求不会在精确的节拍上到达。 - 自适应延迟: Scrapy 的 AutoThrottle 扩展 根据网站的响应进行调整。它将目标延迟设置为服务器的延迟除以目标并发,并且在错误响应时不会加速。
- 并发上限: 对一个网站的连接数减少 并发连接 也会降低请求速率。
重试可能会撤销限速
爬虫可以很好地控制其第一次请求的速率,但仍然可能通过重试淹没一个网站。亚马逊 Builders' Library 的一篇文章警告说,如果系统超载,重试可能会使超载情况变得更糟,而不是更好。它给出了一个例子,其中每个独立重试的层会将数据库的负载提高 243 倍。
同一篇文章列出了修复措施:
- 指数退避: 在每次失败尝试后增加等待时间。
- 添加抖动: 为每次等待添加随机性,以便重试在时间上分散,而不是同时到达。
- 设定上限: 设置最大等待时间和最大重试次数。
这对网络爬虫意味着什么
- 按网站限速,而不是按任务: 限制适用于每个目标,因此对每个域名的请求速率要单独控制。
- 将 429 视为暂停: 等待 Retry-After 时间,或者在没有时使用抖动进行退避。
- 新 IP 不会替代速率控制: 在 429 后切换 IP 如果网站还按 cookie、账户或指纹计数,则无济于事。