スループットは、接続を介して実際にデータが配信される速度であり、時間をかけて測定され、通常はMbpsなどのビット毎秒で示されます。帯域幅とは異なり、帯域幅はリンクの容量であり、スループットは遅延、パケット損失、およびプロトコルオーバーヘッドがそのシェアを取った後に通過するものです。

IETFのTCPスループットテストの標準であるRFC 6349では、TCP/IPヘッダーの上に運ばれるデータの速度を「グッドプット」と呼び、これはワイヤ上の生の速度よりも低くなります。

スループット vs. 帯域幅 vs. レイテンシ

スループット帯域幅レイテンシ
答える質問データはどれくらい速く到着しますか?リンクはどれくらいのデータを運ぶことができますか?各交換にどれくらいの時間がかかりますか?
測定するもの秒間に実際に配信されたデータ秒間にリンクが運ぶことができる最大データデータが往復するのにかかる時間
一般的な単位MbpsMbpsまたはGbpsミリ秒

プロキシの価格設定において、「帯域幅」は通常、速度ではなくGBで転送された総データを意味します。違いについては帯域幅を参照してください。

スループットが帯域幅を下回る理由

  • プロトコルオーバーヘッド: 20バイトのIPヘッダーと20バイトのTCPヘッダーに加えてイーサネットフレーミングがあるため、100 Mbpsのイーサネットリンクは最大で約94.9 MbpsのTCPグッドプットを運ぶことができます。
  • 受信ウィンドウと往復時間: 1つの接続のスループットは、受信ウィンドウ(ビット単位)を往復時間で割った値に制限されます。100 Mbpsのパスで5 msの往復時間と16 KBのウィンドウがある場合、最大25.6 Mbpsに達します。
  • 帯域幅-遅延積: リンクを満たすためには、受信ウィンドウはリンクの容量とその往復遅延の積以上でなければなりません。
  • パケット損失: TCPの輻輳ウィンドウはパスの損失率から計算され、失われたパケットは再送信されなければなりません。

スループットの測定方法

TCPスループットテストは、実際のデータを移動させ、その時間を計測します:

  1. データブロックを転送する: 実際のTCP転送時間は、そのブロックを接続または接続を介して送信するのにかかる時間です。
  2. 理想と比較する: 転送時間比は、実際の転送時間をそのパスの理想的な転送時間で割ります。
  3. 再送信をカウントする: TCP効率は、再送信されなかったバイトの割合です。

結果を比較する際は単位に注意してください。ネットワーク速度はビット毎秒で示される一方で、一部のツールはバイト毎秒で報告します。1バイトは8ビットであるため、12.5 MB毎秒は100 Mbpsに相当します。例えば、curlはspeed_download値をバイト毎秒の完全なダウンロードの平均速度として報告します。

プロキシホップが接続ごとのスループットを低下させる

単一のTCP接続は、往復ごとに最大1つの受信ウィンドウのデータを移動できます。プロキシはパスに別のレッグを追加するため、往復時間が増加し、同じウィンドウが毎秒配信するデータが減少します。

  • 実例: 16 KBのウィンドウで5 msの往復時間がある場合、1つの接続は25.6 Mbpsに制限されます。50 msの場合、同じウィンドウは2.56 Mbpsを提供します。
  • より多くの接続がパイプを満たす: 小さなウィンドウはリンクを満たすためにより多くの並列接続を必要とします。5 msの往復時間を持つ500 Mbpsのパスは、16 KBのウィンドウで20接続、または64 KBのウィンドウで5接続を必要とします。

したがって、遠くのプロキシを介した遅い単一ダウンロードは、プロキシのリンクが遅いことを意味しません。往復時間が制限要因かもしれません。

ウェブスクレイピングにとっての意味

  • 同じテストでプロキシを比較する: 各プロキシを通じて同じターゲットへの固定ダウンロードの時間を計測します。スループットは距離と経路によって変化するためです。curlでは、time_connectがプロキシへのTCP接続が完了した時点を示し、time_totalとは別に表示されます。
  • 制限内で並列接続でスケールする: 同時接続は総スループットを増加させますが、HTTP/1.1ではクライアントは1つのサーバーへの同時接続を制限すべきだとされています。ScrapyのAutoThrottleは、フライト中のリクエストの目標数を維持することを目指しており、そのドキュメントでは、目標を上げることでスループットとサーバーへの負荷が増加すると述べています。
  • 小さなページのために接続を再利用する: 新しい接続は、データが流れる前にDNS、TCP、TLSのセットアップにラウンドトリップを費やすため、1つの接続を再利用することで転送にもっと時間を確保できます。

関連用語