速率限制是一種控制,限制客戶端(通過 IP 地址或用戶賬戶識別)在設定的時間窗口內可以發出的請求數量,然後阻止或延遲超過限制的請求。伺服器用 HTTP 429 太多請求來發出信號,這可能包括 Retry-After header,告訴用戶在再次嘗試之前需要等待多久。
速率限制執行的級別
- 每個 IP
- 每個子網
- 每個 API 密鑰
- 每個賬戶
當客戶端超過這些限制時,伺服器可以暫時停止滿足其請求,並以 HTTP 429 "太多請求" 回應。將請求分散到大型的旋轉代理池中,可以將它們分散到許多每 IP 計數器上,幫助保持每個 IP 在每 IP 速率限制之下。
常見的速率限制算法
- 固定窗口: 計算請求並在每個周期開始時重置計數器,因此流量峰值可能會在每次重置時滑過。
- 滑動窗口: 根據前一周期的計數與當前窗口的重疊程度進行加權,這樣可以平滑這些峰值。
- 令牌桶: 令牌以固定速率補充,直到達到最大值。每個請求消耗一個令牌,因此允許的突發量取決於桶的大小。
- 漏桶: 請求以恆定速率排出。當桶滿時,新請求將被拒絕。
為什麼網站使用速率限制
抓取只是其中一個目標。速率限制還有助於:
- 減緩暴力破解登錄嘗試,Cloudflare 建議根據 IP 地址和用戶名進行跟踪。
- 抵禦粗暴的 DoS 和 DDoS 流量洪水。
- 保持 API 使用在每用戶配額內,例如每小時或每天的調用次數,即使過度使用不是惡意的。