速率限制是一种控制机制,用于限制客户端(通过 IP 地址或用户账户识别)在设定时间窗口内可以发出的请求数量,超出限制后将阻止或延迟请求。服务器通过 HTTP 429 过多请求来发出信号,可能包括一个 Retry-After header,说明在再次尝试之前需要等待多长时间。
速率限制执行的级别
- 每个 IP
- 每个子网
- 每个 API 密钥
- 每个账户
当客户端超出这些限制时,服务器可以暂时停止满足其请求,并以 HTTP 429 "过多请求" 响应。通过在大型轮换代理池中分配请求,可以将请求分散到多个每个 IP 的计数器上,帮助在规模上保持每个 IP 在每个 IP 的速率限制之下。
常见的速率限制算法
- 固定窗口: 计算请求并在每个周期开始时重置计数器,因此流量峰值可能在每次重置时溜过。
- 滑动窗口: 根据前一个周期的计数与当前窗口的重叠程度进行加权,从而平滑这些峰值。
- 令牌桶: 令牌以固定速率补充,直到达到最大值。每个请求消耗一个令牌,因此允许的突发请求数量取决于桶的大小。
- 漏桶: 请求以恒定速率排出。当桶满时,新请求将被拒绝。
网站使用速率限制的原因
抓取只是一个目标。速率限制还有助于:
- 减缓暴力破解登录尝试,Cloudflare 建议通过 IP 地址和用户名进行跟踪。
- 钝化 DoS 和 DDoS 流量洪水。
- 保持 API 使用在每个用户的配额内,例如每小时或每天的调用次数,即使过度使用并非恶意。