速率限制是一种控制机制,限制客户端(通过IP地址或用户账户识别)在设定时间窗口内可以发出的请求数量,超出限制后将阻止或延迟请求。服务器通过 HTTP 429 过多请求来发出信号,可能包括 Retry-After header,说明在再次尝试之前需要等待多长时间。
速率限制实施的级别
- 每个IP
- 每个子网
- 每个API密钥
- 每个账户
当客户端超出限制时,服务器可以暂时停止满足其请求,并以HTTP 429 "过多请求"进行响应。通过在一个大型、轮换的代理池中分配请求,可以将请求分散到多个每IP计数器上,帮助在规模上保持每个IP低于每IP速率限制。
常见的速率限制算法
- 固定窗口: 计算请求并在每个周期开始时重置计数器,因此流量峰值可能会在每次重置时滑过。
- 滑动窗口: 根据前一个周期的计数与当前窗口的重叠程度进行加权,从而平滑这些峰值。
- 令牌桶: 令牌以固定速率补充,直到达到最大值。每个请求消耗一个令牌,因此允许的突发请求数量取决于桶的大小。
- 漏桶: 请求以恒定速率排出。当桶满时,新请求将被拒绝。
网站使用速率限制的原因
抓取只是一个目标。速率限制还有助于:
- 减缓暴力破解登录尝试,Cloudflare建议通过IP地址和用户名进行跟踪。
- 抵御DoS和DDoS流量洪水。
- 保持API使用在每用户配额内,例如每小时或每天的调用次数,即使过度使用并非恶意。