並行連接,通常稱為線程,是指您可以通過代理同時打開的請求數量。限制為 50 意味著最多可以同時運行 50 個請求。當一個請求完成後,另一個請求可以開始。更多的並行性 更快地完成大型任務,但每個打開的連接也會使用代理和目標伺服器上的資源。

一個 429 Too Many Requests 狀態意味著您在給定的時間內發送了太多請求。

線程、連接和請求

  • 線程: 您自己程序中的一個工作單元。在一個簡單的抓取器中,每個線程發送一個請求並等待其響應。
  • HTTP/1.x: 一個連接主要一次處理一個請求,因此 HTTP/1.0 和 HTTP/1.1 客戶端打開多個連接以進行並行請求。
  • HTTP/2: 許多請求,稱為流,可以在單個連接上交錯。伺服器用 SETTINGS_MAX_CONCURRENT_STREAMS 設置其限制。
  • 為什麼重要: 您的線程數、打開的連接和正在進行的請求不一定是相同的數字,因此請檢查限制是指哪一個。

選擇安全的並行級別

  • 保持保守: HTTP/1.1 規範 (RFC 9112) 說明客戶端應限制同時打開的連接數量到給定伺服器。它沒有設置固定的最大值。
  • 為什麼: 每個連接消耗伺服器資源,許多並行連接可能會導致擁堵,而較少的連接則可以避免。
  • 尊重 Retry-After: 一個 429 Too Many Requests 響應可能包括一個 Retry-After 標頭,說明在再次嘗試之前需要等待多長時間。

相關術語