吞吐量是数据在连接上实际传输的速率,通常以每秒比特数(如 Mbps)来衡量。与带宽不同,带宽是链接的容量,而吞吐量是在延迟、数据包丢失和协议开销占用其份额后实际传输的数据。
IETF 对 TCP 吞吐量测试的标准 RFC 6349 将 TCP/IP 头部之上的数据传输速率称为 "有效吞吐量",其值低于线路上的原始速率。
吞吐量与带宽与延迟
| 吞吐量 | 带宽 | 延迟 | |
|---|---|---|---|
| 回答的问题 | 数据到达的速度有多快? | 链接可以承载多少? | 每次交换需要多长时间? |
| 测量内容 | 每秒实际传输的数据 | 链接每秒可以承载的最大数据 | 数据往返所需的时间 |
| 典型单位 | Mbps | Mbps 或 Gbps | 毫秒 |
在代理定价中,"带宽" 通常指的是以 GB 计算的总数据传输量,而不是速度。有关差异,请参见 带宽。
为什么吞吐量低于带宽
- 协议开销: 在 20 字节的 IP 和 20 字节的 TCP 头部加上以太网帧后,100 Mbps 的以太网链接最多只能传输约 94.9 Mbps 的 TCP 有效吞吐量。
- 接收窗口和往返时间: 一个连接的吞吐量受限于接收窗口(以比特为单位)除以往返时间。一个 100 Mbps 的路径,往返时间为 5 毫秒,接收窗口为 16 KB,最大吞吐量为 25.6 Mbps。
- 带宽延迟积: 要填满一个链接,接收窗口必须至少等于链接的容量乘以其往返延迟。
- 数据包丢失: TCP 的拥塞窗口是根据路径的丢包率计算的,丢失的数据包必须重新传输。
如何测量吞吐量
TCP 吞吐量测试移动真实数据并进行计时:
- 传输一块数据: 实际 TCP 传输时间是将该块数据通过连接或连接发送所需的时间。
- 与理想情况比较: 传输时间比率将实际传输时间除以该路径的理想传输时间。
- 计算重传次数: TCP 效率是未重传字节的百分比。
比较结果时请检查单位。网络速度以每秒比特数表示,而某些工具以每秒字节数报告。一个字节是 8 比特,因此每秒 12.5 MB 等于 100 Mbps。例如,curl 将其 speed_download 值报告为以每秒字节数计算的完整下载的平均速度。
代理跳数降低每连接吞吐量
单个 TCP 连接每次往返最多只能移动一个接收窗口的数据。代理在路径上增加了另一个环节,因此往返时间增加,相同的窗口每秒传输的数据减少。
- 示例: 在 16 KB 窗口下,5 毫秒的往返时间将一个连接的最大吞吐量限制为 25.6 Mbps。在 50 毫秒时,相同的窗口则为 2.56 Mbps。
- 更多连接填满管道: 较小的窗口需要更多的并行连接来填满链接。一个 500 Mbps 的路径,往返时间为 5 毫秒,需要 20 个 16 KB 窗口的连接,或者 5 个 64 KB 窗口的连接。
因此,通过远程代理进行的缓慢单次下载并不意味着代理的链接速度慢。往返时间可能是限制因素。
对网络爬虫的影响
- 在同一测试中比较代理: 通过每个代理对同一目标进行固定下载计时,因为吞吐量会随着距离和路径而变化。在 curl 中,
time_connect显示与代理的 TCP 连接何时完成,独立于time_total。 - 在限制内通过并行连接扩展: 并发连接 提高总吞吐量,但 HTTP/1.1 规定客户端应限制与一个服务器的同时连接。Scrapy 的 AutoThrottle 旨在保持目标请求数量在飞行中,其文档表示提高该目标会增加吞吐量和服务器负载。
- 重用小页面的连接: 每个新连接在数据流动之前都要花费时间进行 DNS、TCP 和 TLS 设置的往返,因此重用一个连接可以为传输保留更多时间。