速率限制是一種控制,限制客戶端(通過 IP 地址或用戶帳戶識別)在設定的時間窗口內可以發出多少請求,然後阻止或延遲超過限制的請求。伺服器用 HTTP 429 太多請求來發出信號,這可能包括 Retry-After header,告訴用戶在再次嘗試之前需要等待多久。

速率限制執行的級別

  • 每個 IP
  • 每個子網
  • 每個 API 金鑰
  • 每個帳戶

當客戶端超過這些限制時,伺服器可以暫時停止滿足其請求,並以 HTTP 429 "太多請求" 回應。將請求分配到大型的旋轉代理池中,可以將請求分散到許多每個 IP 的計數器上,幫助在規模上保持每個 IP 在每個 IP 的速率限制之下。

常見的速率限制算法

  • 固定窗口: 計算請求並在每個周期開始時重置計數器,因此流量高峰可能在每次重置時滑過。
  • 滑動窗口: 根據前一周期的計數與當前窗口的重疊程度進行加權,這樣可以平滑這些高峰。
  • 令牌桶: 令牌以固定速率補充,直到達到最大值。每個請求消耗一個令牌,因此允許的突發量取決於桶的大小。
  • 漏桶: 請求以恆定速率排出。當桶滿時,新的請求會被拒絕。

為什麼網站使用速率限制

抓取僅僅是一個目標。速率限制還有助於:

  • 減緩暴力破解登錄嘗試,Cloudflare 建議通過 IP 地址和用戶名進行跟蹤。
  • 抵禦 DoS 和 DDoS 流量洪水。
  • 保持 API 使用在每個用戶的配額內,例如每小時或每天的調用次數,即使過度使用不是惡意的。

相關術語