速率限制是一種控制,限制客戶端(通過 IP 地址或用戶帳戶識別)在設定的時間窗口內可以發出多少請求,然後阻止或延遲超過限制的請求。伺服器用 HTTP 429 太多請求來發出信號,這可能包括 Retry-After header,告訴用戶在再次嘗試之前需要等待多久。
速率限制執行的級別
- 每個 IP
- 每個子網
- 每個 API 金鑰
- 每個帳戶
當客戶端超過這些限制時,伺服器可以暫時停止滿足其請求,並以 HTTP 429 "太多請求" 回應。將請求分配到大型的旋轉代理池中,可以將請求分散到許多每個 IP 的計數器上,幫助在規模上保持每個 IP 在每個 IP 的速率限制之下。
常見的速率限制算法
- 固定窗口: 計算請求並在每個周期開始時重置計數器,因此流量高峰可能在每次重置時滑過。
- 滑動窗口: 根據前一周期的計數與當前窗口的重疊程度進行加權,這樣可以平滑這些高峰。
- 令牌桶: 令牌以固定速率補充,直到達到最大值。每個請求消耗一個令牌,因此允許的突發量取決於桶的大小。
- 漏桶: 請求以恆定速率排出。當桶滿時,新的請求會被拒絕。
為什麼網站使用速率限制
抓取僅僅是一個目標。速率限制還有助於:
- 減緩暴力破解登錄嘗試,Cloudflare 建議通過 IP 地址和用戶名進行跟蹤。
- 抵禦 DoS 和 DDoS 流量洪水。
- 保持 API 使用在每個用戶的配額內,例如每小時或每天的調用次數,即使過度使用不是惡意的。