請求節流是故意減慢爬蟲發送請求的速度,並在請求之間添加延遲,以避免對目標網站的伺服器造成過大的壓力。

這個術語也用於伺服器端。微軟將節流描述為雲 API 使用的一種技術,用以限制在一定時間內可以發出的請求數量,以便 API 對所有用戶保持可用性。無論如何,目標都是相同的:保持流量在伺服器可以處理的速度。

節流 vs. 請求限制

節流請求限制
主要思想控制請求的速度限制在時間窗口內的請求數量
超過的請求通常會延遲或分散通常會被拒絕
誰應用它客戶端、伺服器或兩者通常是伺服器
典型信號回應較慢,或 429 與 Retry-After429 Too Many Requests

這兩個術語在實踐中是重疊的。例如,AWS 將超過限制的節流請求描述為被拒絕,並顯示 429 Too Many Requests 錯誤。請參見 請求限制 以了解伺服器如何計算請求。

伺服器如何進行節流

  • 令牌桶: AWS 建議使用這種算法,每個請求使用一個令牌,令牌以每秒固定的速度補充。
  • 狀態碼: 最常見的信號是 429 Too Many Requests。微軟指出,並非每個 API 都使用它:GitHub 可能會回應 403。
  • 等待時間: 一些 API 添加了 Retry-After 標頭,告訴用戶在下一次請求之前需要等待多長時間。

爬蟲如何自我節流

  • 固定延遲: 在對同一網站的請求之間設置固定的暫停。
  • 隨機延遲: Scrapy 的 DOWNLOAD_DELAY_JITTER 設置為每個延遲添加隨機變化,這樣請求不會在精確的節拍上到達。
  • 自適應延遲: Scrapy 的 AutoThrottle 擴展 根據網站的回應進行調整。它將目標延遲設置為伺服器的延遲除以目標併發量,並且在錯誤回應時不會加速。
  • 併發上限: 對一個網站的連接數量減少 併發連接 也會降低請求速率。

重試可能會撤銷節流

爬蟲可以很好地控制其第一次請求的速度,但仍然可能因重試而淹沒網站。亞馬遜建設者圖書館的一篇文章警告說,如果系統過載,重試可能會使過載情況變得更糟,而不是更好。它舉了一個例子,其中每個獨立重試的層會將數據庫的負載提高243倍。

同一篇文章列出了修復方法:

  1. 指數回退: 在每次失敗的嘗試後增加等待時間。
  2. 添加抖動: 在每次等待中添加隨機性,這樣重試就會在時間上分散,而不是同時到達。
  3. 設置上限: 設置最大等待時間和最大重試次數。

對網頁爬蟲的意義

  • 每個網站節流,而不是每個任務: 限制適用於每個目標,因此請分別控制對每個域的請求速度。
  • 將 429 視為暫停: 等待 Retry-After 時間,或者在沒有的情況下使用抖動進行回退。
  • 新 IP 不會替代節流: 在 429 之後切換 IP 如果網站也根據 cookie、帳戶或指紋進行計算,則無法幫助。

相關術語