請求節流是故意減慢爬蟲發送請求的速度,並在請求之間添加延遲,以避免對目標網站的伺服器造成過大的壓力。
這個術語也用於伺服器端。微軟將節流描述為雲 API 使用的一種技術,用以限制在一定時間內可以發出的請求數量,以便 API 對所有用戶保持可用性。無論如何,目標都是相同的:保持流量在伺服器可以處理的速度。
節流 vs. 請求限制
| 節流 | 請求限制 | |
|---|---|---|
| 主要思想 | 控制請求的速度 | 限制在時間窗口內的請求數量 |
| 超過的請求 | 通常會延遲或分散 | 通常會被拒絕 |
| 誰應用它 | 客戶端、伺服器或兩者 | 通常是伺服器 |
| 典型信號 | 回應較慢,或 429 與 Retry-After | 429 Too Many Requests |
這兩個術語在實踐中是重疊的。例如,AWS 將超過限制的節流請求描述為被拒絕,並顯示 429 Too Many Requests 錯誤。請參見 請求限制 以了解伺服器如何計算請求。
伺服器如何進行節流
- 令牌桶: AWS 建議使用這種算法,每個請求使用一個令牌,令牌以每秒固定的速度補充。
- 狀態碼: 最常見的信號是
429 Too Many Requests。微軟指出,並非每個 API 都使用它:GitHub 可能會回應403。 - 等待時間: 一些 API 添加了 Retry-After 標頭,告訴用戶在下一次請求之前需要等待多長時間。
爬蟲如何自我節流
- 固定延遲: 在對同一網站的請求之間設置固定的暫停。
- 隨機延遲: Scrapy 的
DOWNLOAD_DELAY_JITTER設置為每個延遲添加隨機變化,這樣請求不會在精確的節拍上到達。 - 自適應延遲: Scrapy 的 AutoThrottle 擴展 根據網站的回應進行調整。它將目標延遲設置為伺服器的延遲除以目標併發量,並且在錯誤回應時不會加速。
- 併發上限: 對一個網站的連接數量減少 併發連接 也會降低請求速率。
重試可能會撤銷節流
爬蟲可以很好地控制其第一次請求的速度,但仍然可能因重試而淹沒網站。亞馬遜建設者圖書館的一篇文章警告說,如果系統過載,重試可能會使過載情況變得更糟,而不是更好。它舉了一個例子,其中每個獨立重試的層會將數據庫的負載提高243倍。
同一篇文章列出了修復方法:
- 指數回退: 在每次失敗的嘗試後增加等待時間。
- 添加抖動: 在每次等待中添加隨機性,這樣重試就會在時間上分散,而不是同時到達。
- 設置上限: 設置最大等待時間和最大重試次數。
對網頁爬蟲的意義
- 每個網站節流,而不是每個任務: 限制適用於每個目標,因此請分別控制對每個域的請求速度。
- 將 429 視為暫停: 等待 Retry-After 時間,或者在沒有的情況下使用抖動進行回退。
- 新 IP 不會替代節流: 在 429 之後切換 IP 如果網站也根據 cookie、帳戶或指紋進行計算,則無法幫助。