請求限速是故意減慢爬蟲發送請求的速度,並在請求之間添加延遲,以避免對目標網站的伺服器造成過大壓力。
這個術語也用於伺服器端。微軟將限速描述為雲 API 用來限制在特定時間內可以發出的請求數量的技術,以便 API 對所有用戶保持可用。無論如何,目標都是一樣的:保持流量在伺服器可以處理的速度。
限速與速率限制
| 限速 | 速率限制 | |
|---|---|---|
| 主要思想 | 控制請求的速度 | 限制在時間窗口內的請求數量 |
| 超過的請求 | 通常延遲或分散 | 通常被拒絕 |
| 誰應用它 | 客戶端、伺服器或兩者 | 通常是伺服器 |
| 典型信號 | 回應較慢,或 429 與 Retry-After | 429 Too Many Requests |
這兩個術語在實踐中有重疊。例如,AWS 將超過限制的限速請求描述為被拒絕,並返回 429 Too Many Requests 錯誤。請參見 速率限制 以了解伺服器如何計算請求。
伺服器如何限速
- 令牌桶: AWS 建議使用這種算法,每個請求使用一個令牌,令牌以每秒固定的速度補充。
- 狀態碼: 最常見的信號是
429 Too Many Requests。微軟指出並非每個 API 都使用它:GitHub 可能會回應403。 - 等待時間: 一些 API 添加了 Retry-After 標頭,告訴用戶在下一次請求之前需要等待多長時間。
爬蟲如何自我限速
- 固定延遲: 在對同一網站發送請求之間設置固定的暫停。
- 隨機延遲: Scrapy 的
DOWNLOAD_DELAY_JITTER設置為每個延遲添加隨機變化,這樣請求不會在精確的節拍上到達。 - 自適應延遲: Scrapy 的 AutoThrottle 擴展 根據網站的回應進行調整。它將目標延遲設置為伺服器的延遲除以目標並發量,並且在錯誤回應時不會加速。
- 並發上限: 對一個網站的 並發連接 減少請求速率。
重試可能會撤銷限速
爬蟲可以很好地控制其第一次請求的速度,但仍然可能因重試而淹沒網站。亞馬遜建設者圖書館的一篇文章警告說,如果系統過載,重試可能會使過載情況變得更糟而不是更好。它舉了一個例子,說每層獨立重試會將數據庫的負載提高 243 倍。
同一篇文章列出了修復措施:
- 指數退避: 在每次失敗嘗試後增加等待時間。
- 添加抖動: 在每次等待中添加隨機性,這樣重試就會在時間上分散,而不是同時到達。
- 設置上限: 設置最大等待時間和最大重試次數。
對網絡爬蟲的意義
- 每個網站限速,而不是每個任務: 限制適用於每個目標,因此對每個域名的請求速度要分開控制。
- 將 429 視為暫停: 等待 Retry-After 時間,或者在沒有的時候使用抖動進行退避。
- 新 IP 不會替代速度控制: 在 429 之後切換 IP 如果網站還按 cookie、帳戶或指紋計算,則無法幫助。