同時連接,通常稱為執行緒,是指您可以通過代理在同一時刻打開的請求數量。限制為 50 意味著最多可以同時運行 50 個請求。當一個請求完成後,另一個請求可以開始。更多的並發性 可以更快完成大型任務,但每個打開的連接也會使用代理和目標伺服器上的資源。
一個 429 Too Many Requests 狀態意味著您在給定的時間內發送了太多請求。
執行緒、連接和請求
- 執行緒: 您自己程序中的一個工作單位。在一個簡單的爬蟲中,每個執行緒發送一個請求並等待其響應。
- HTTP/1.x: 一個連接主要一次處理一個請求,因此 HTTP/1.0 和 HTTP/1.1 客戶端會打開多個連接以進行並發請求。
- HTTP/2: 許多請求,稱為流,可以在單個連接上交錯。伺服器用
SETTINGS_MAX_CONCURRENT_STREAMS設置其限制。 - 為什麼重要: 您的執行緒數量、打開的連接和正在進行的請求不一定是相同的數字,因此請檢查限制所指的是哪一個。
選擇安全的並發級別
- 保持保守: HTTP/1.1 規範 (RFC 9112) 說明客戶端應限制同時打開的連接數量到給定伺服器。它沒有設置固定的最大值。
- 為什麼: 每個連接消耗伺服器資源,許多並行連接可能會導致擁堵,而較少的連接則可以避免。
- 尊重 Retry-After:
429 Too Many Requests響應可能包含一個Retry-After標頭,說明在再次嘗試之前需要等待多長時間。