請求限速是故意減慢爬蟲發送請求的速度,並在請求之間添加延遲,以避免對目標網站的伺服器造成過大壓力。

這個術語也用於伺服器端。微軟將限速描述為雲 API 用來限制在特定時間內可以發出的請求數量的技術,以便 API 對所有用戶保持可用。無論如何,目標都是一樣的:保持流量在伺服器可以處理的速度。

限速與速率限制

限速速率限制
主要思想控制請求的速度限制在時間窗口內的請求數量
超過的請求通常延遲或分散通常被拒絕
誰應用它客戶端、伺服器或兩者通常是伺服器
典型信號回應較慢,或 429 與 Retry-After429 Too Many Requests

這兩個術語在實踐中有重疊。例如,AWS 將超過限制的限速請求描述為被拒絕,並返回 429 Too Many Requests 錯誤。請參見 速率限制 以了解伺服器如何計算請求。

伺服器如何限速

  • 令牌桶: AWS 建議使用這種算法,每個請求使用一個令牌,令牌以每秒固定的速度補充。
  • 狀態碼: 最常見的信號是 429 Too Many Requests。微軟指出並非每個 API 都使用它:GitHub 可能會回應 403。
  • 等待時間: 一些 API 添加了 Retry-After 標頭,告訴用戶在下一次請求之前需要等待多長時間。

爬蟲如何自我限速

  • 固定延遲: 在對同一網站發送請求之間設置固定的暫停。
  • 隨機延遲: Scrapy 的 DOWNLOAD_DELAY_JITTER 設置為每個延遲添加隨機變化,這樣請求不會在精確的節拍上到達。
  • 自適應延遲: Scrapy 的 AutoThrottle 擴展 根據網站的回應進行調整。它將目標延遲設置為伺服器的延遲除以目標並發量,並且在錯誤回應時不會加速。
  • 並發上限: 對一個網站的 並發連接 減少請求速率。

重試可能會撤銷限速

爬蟲可以很好地控制其第一次請求的速度,但仍然可能因重試而淹沒網站。亞馬遜建設者圖書館的一篇文章警告說,如果系統過載,重試可能會使過載情況變得更糟而不是更好。它舉了一個例子,說每層獨立重試會將數據庫的負載提高 243 倍。

同一篇文章列出了修復措施:

  1. 指數退避: 在每次失敗嘗試後增加等待時間。
  2. 添加抖動: 在每次等待中添加隨機性,這樣重試就會在時間上分散,而不是同時到達。
  3. 設置上限: 設置最大等待時間和最大重試次數。

對網絡爬蟲的意義

  • 每個網站限速,而不是每個任務: 限制適用於每個目標,因此對每個域名的請求速度要分開控制。
  • 將 429 視為暫停: 等待 Retry-After 時間,或者在沒有的時候使用抖動進行退避。
  • 新 IP 不會替代速度控制: 在 429 之後切換 IP 如果網站還按 cookie、帳戶或指紋計算,則無法幫助。

相關術語