吞吐量是指在一段時間內,通過連接實際傳送的數據速率,通常以每秒位元數(如 Mbps)來表示。與帶寬不同,帶寬是鏈路的容量,而吞吐量是經過延遲、數據包丟失和協議開銷後實際能夠傳送的數據量。

IETF 對 TCP 吞吐量的測試標準 RFC 6349 將 TCP/IP 標頭之上的數據傳輸速率稱為「有效吞吐量」,這個值通常低於線路上的原始速率。

吞吐量 vs. 帶寬 vs. 延遲

吞吐量帶寬延遲
回答的問題數據到達的速度有多快?鏈路最多能承載多少?每次交換需要多長時間?
測量內容每秒實際傳送的數據鏈路每秒能承載的最多數據數據來回旅行的時間
典型單位MbpsMbps 或 Gbps毫秒

在代理定價中,「帶寬」通常指的是以 GB 計算的總數據傳輸量,而不是速度。請參見 帶寬 以了解其區別。

為什麼吞吐量低於帶寬

  • 協議開銷: 在 20 字節的 IP 和 20 字節的 TCP 標頭加上以太網封裝後,100 Mbps 的以太網鏈路最多能承載約 94.9 Mbps 的 TCP 有效吞吐量。
  • 接收窗口和往返時間: 一個連接的吞吐量受限於接收窗口(以位元為單位)除以往返時間。100 Mbps 的路徑,往返時間為 5 毫秒,接收窗口為 16 KB,吞吐量上限為 25.6 Mbps。
  • 帶寬-延遲乘積: 要填滿一個鏈路,接收窗口必須至少等於鏈路容量乘以其往返延遲。
  • 數據包丟失: TCP 的擁塞窗口是根據路徑的丟包率計算的,丟失的數據包必須重新傳輸。

如何測量吞吐量

TCP 吞吐量測試移動實際數據並計時:

  1. 傳輸一個數據塊: 實際 TCP 傳輸時間是將該數據塊通過連接或連接發送所需的時間。
  2. 與理想情況比較: 傳輸時間比率將實際傳輸時間除以該路徑的理想傳輸時間。
  3. 計算重傳次數: TCP 效率是未重傳的字節百分比。

比較結果時請檢查單位。網絡速度以每秒位元數表示,而某些工具則以每秒字節數報告。1 字節等於 8 位元,因此每秒 12.5 MB 等於 100 Mbps。例如,curl 將其 speed_download 值報告為完整下載的平均速度(以每秒字節數計)。

代理跳數降低每連接吞吐量

單個 TCP 連接每次往返最多只能移動一個接收窗口的數據。代理在路徑上增加了另一個環節,因此往返時間增長,並且相同的窗口每秒傳送的數據量減少。

  • 實例: 在 16 KB 窗口下,5 毫秒的往返時間將一個連接的吞吐量限制在 25.6 Mbps。在 50 毫秒時,相同的窗口僅能提供 2.56 Mbps。
  • 更多連接填滿管道: 較小的窗口需要更多的並行連接來填滿鏈路。500 Mbps 的路徑,往返時間為 5 毫秒,需要 20 個 16 KB 窗口的連接,或 5 個 64 KB 窗口的連接。

因此,通過遠程代理的慢速單一下載並不意味著代理的鏈路速度慢。往返時間可能是限制因素。

對網頁抓取的影響

  • 在相同測試中比較代理: 對每個代理進行固定下載到相同目標的計時,因為吞吐量會隨距離和路徑而變化。在 curl 中,time_connect 顯示 TCP 連接到代理完成的時間,與 time_total 分開。
  • 在限制內使用並行連接擴展: 並發連接 提高總吞吐量,但 HTTP/1.1 說明客戶端應限制同時連接到一個伺服器。Scrapy 的 AutoThrottle 旨在保持目標請求數量在運行中,其文檔說提高該目標會增加吞吐量和伺服器的負載。
  • 重用小頁面的連接: 每個新連接在任何數據流動之前都需要進行 DNS、TCP 和 TLS 設置的往返,因此重用一個連接可以保留更多的傳輸時間。

相關術語