吞吐量是指在一段時間內,通過連接實際傳送的數據速率,通常以每秒位元數(如 Mbps)來表示。與帶寬不同,帶寬是鏈路的容量,而吞吐量是經過延遲、數據包丟失和協議開銷後實際能夠傳送的數據量。
IETF 對 TCP 吞吐量的測試標準 RFC 6349 將 TCP/IP 標頭之上的數據傳輸速率稱為「有效吞吐量」,這個值通常低於線路上的原始速率。
吞吐量 vs. 帶寬 vs. 延遲
| 吞吐量 | 帶寬 | 延遲 | |
|---|---|---|---|
| 回答的問題 | 數據到達的速度有多快? | 鏈路最多能承載多少? | 每次交換需要多長時間? |
| 測量內容 | 每秒實際傳送的數據 | 鏈路每秒能承載的最多數據 | 數據來回旅行的時間 |
| 典型單位 | Mbps | Mbps 或 Gbps | 毫秒 |
在代理定價中,「帶寬」通常指的是以 GB 計算的總數據傳輸量,而不是速度。請參見 帶寬 以了解其區別。
為什麼吞吐量低於帶寬
- 協議開銷: 在 20 字節的 IP 和 20 字節的 TCP 標頭加上以太網封裝後,100 Mbps 的以太網鏈路最多能承載約 94.9 Mbps 的 TCP 有效吞吐量。
- 接收窗口和往返時間: 一個連接的吞吐量受限於接收窗口(以位元為單位)除以往返時間。100 Mbps 的路徑,往返時間為 5 毫秒,接收窗口為 16 KB,吞吐量上限為 25.6 Mbps。
- 帶寬-延遲乘積: 要填滿一個鏈路,接收窗口必須至少等於鏈路容量乘以其往返延遲。
- 數據包丟失: TCP 的擁塞窗口是根據路徑的丟包率計算的,丟失的數據包必須重新傳輸。
如何測量吞吐量
TCP 吞吐量測試移動實際數據並計時:
- 傳輸一個數據塊: 實際 TCP 傳輸時間是將該數據塊通過連接或連接發送所需的時間。
- 與理想情況比較: 傳輸時間比率將實際傳輸時間除以該路徑的理想傳輸時間。
- 計算重傳次數: TCP 效率是未重傳的字節百分比。
比較結果時請檢查單位。網絡速度以每秒位元數表示,而某些工具則以每秒字節數報告。1 字節等於 8 位元,因此每秒 12.5 MB 等於 100 Mbps。例如,curl 將其 speed_download 值報告為完整下載的平均速度(以每秒字節數計)。
代理跳數降低每連接吞吐量
單個 TCP 連接每次往返最多只能移動一個接收窗口的數據。代理在路徑上增加了另一個環節,因此往返時間增長,並且相同的窗口每秒傳送的數據量減少。
- 實例: 在 16 KB 窗口下,5 毫秒的往返時間將一個連接的吞吐量限制在 25.6 Mbps。在 50 毫秒時,相同的窗口僅能提供 2.56 Mbps。
- 更多連接填滿管道: 較小的窗口需要更多的並行連接來填滿鏈路。500 Mbps 的路徑,往返時間為 5 毫秒,需要 20 個 16 KB 窗口的連接,或 5 個 64 KB 窗口的連接。
因此,通過遠程代理的慢速單一下載並不意味著代理的鏈路速度慢。往返時間可能是限制因素。
對網頁抓取的影響
- 在相同測試中比較代理: 對每個代理進行固定下載到相同目標的計時,因為吞吐量會隨距離和路徑而變化。在 curl 中,
time_connect顯示 TCP 連接到代理完成的時間,與time_total分開。 - 在限制內使用並行連接擴展: 並發連接 提高總吞吐量,但 HTTP/1.1 說明客戶端應限制同時連接到一個伺服器。Scrapy 的 AutoThrottle 旨在保持目標請求數量在運行中,其文檔說提高該目標會增加吞吐量和伺服器的負載。
- 重用小頁面的連接: 每個新連接在任何數據流動之前都需要進行 DNS、TCP 和 TLS 設置的往返,因此重用一個連接可以保留更多的傳輸時間。