Durchsatz ist die Rate, mit der Daten tatsächlich über eine Verbindung geliefert werden, gemessen über die Zeit und normalerweise in Bits pro Sekunde angegeben, wie z. B. Mbps. Im Gegensatz zur Bandbreite, die die Kapazität eines Links darstellt, ist der Durchsatz das, was nach Verzögerungen, Paketverlust und Protokolloverhead übrig bleibt.
Der Standard der IETF zur Messung des TCP-Durchsatzes, RFC 6349, bezeichnet die Rate der Daten, die über die TCP/IP-Header hinausgetragen werden, als "Goodput", die niedriger ist als die rohe Rate auf dem Draht.
Durchsatz vs. Bandbreite vs. Latenz
| Durchsatz | Bandbreite | Latenz | |
|---|---|---|---|
| Frage, die beantwortet wird | Wie schnell kommen die Daten an? | Wie viel könnte der Link tragen? | Wie lange dauert jeder Austausch? |
| Was es misst | Tatsächlich pro Sekunde gelieferte Daten | Die meisten Daten, die ein Link pro Sekunde tragen kann | Zeit, die Daten benötigen, um hin und zurück zu reisen |
| Typische Einheit | Mbps | Mbps oder Gbps | Millisekunden |
Bei der Preisgestaltung von Proxys bedeutet "Bandbreite" normalerweise die insgesamt übertragenen Daten in GB, nicht die Geschwindigkeit. Siehe Bandbreite für den Unterschied.
Warum der Durchsatz unter die Bandbreite fällt
- Protokolloverhead: Nach 20 Byte IP- und 20 Byte TCP-Headern sowie Ethernet-Rahmung trägt ein 100 Mbps Ethernet-Link höchstens etwa 94,9 Mbps TCP-Goodput.
- Empfangsfenster und Round-Trip-Zeit: Der Durchsatz einer Verbindung ist auf das Empfangsfenster (in Bits) geteilt durch die Round-Trip-Zeit begrenzt. Ein 100 Mbps-Pfad mit einer Round-Trip-Zeit von 5 ms und einem 16 KB-Fenster erreicht maximal 25,6 Mbps.
- Bandbreiten-Verzögerungsprodukt: Um einen Link zu füllen, muss das Empfangsfenster mindestens die Kapazität des Links multipliziert mit seiner Round-Trip-Verzögerung betragen.
- Paketverlust: Das Stau-Fenster von TCP wird aus der Verlustquote des Pfades berechnet, und verlorene Pakete müssen erneut übertragen werden.
Wie der Durchsatz gemessen wird
Ein TCP-Durchsatztest überträgt echte Daten und misst die Zeit:
- Übertragen eines Datenblocks: Die tatsächliche TCP-Übertragungszeit ist die Zeit, die benötigt wird, um diesen Block über die Verbindung oder Verbindungen zu senden.
- Vergleich mit dem Ideal: Das Übertragungsverhältnis teilt die tatsächliche Übertragungszeit durch die ideale Übertragungszeit für diesen Pfad.
- Zählen von Retransmissionen: Die TCP-Effizienz ist der Prozentsatz der Bytes, die nicht retransmittiert wurden.
Überprüfen Sie die Einheiten, wenn Sie Ergebnisse vergleichen. Netzwerkgeschwindigkeiten werden in Bits pro Sekunde angegeben, während einige Tools Bytes pro Sekunde berichten. Ein Byte sind 8 Bits, also entsprechen 12,5 MB pro Sekunde 100 Mbps. curl beispielsweise berichtet seinen speed_download-Wert als die durchschnittliche Geschwindigkeit des gesamten Downloads in Bytes pro Sekunde.
Ein Proxy-Hop senkt den Durchsatz pro Verbindung
Eine einzelne TCP-Verbindung kann höchstens ein Empfangsfenster von Daten pro Round-Trip bewegen. Ein Proxy fügt einen weiteren Abschnitt zum Pfad hinzu, sodass die Round-Trip-Zeit wächst und dasselbe Fenster weniger pro Sekunde liefert.
- Beispiel: Mit einem 16 KB-Fenster begrenzt eine Round-Trip-Zeit von 5 ms eine Verbindung auf 25,6 Mbps. Bei 50 ms liefert dasselbe Fenster 2,56 Mbps.
- Mehr Verbindungen füllen das Rohr: Kleinere Fenster benötigen mehr parallele Verbindungen, um einen Link zu füllen. Ein 500 Mbps-Pfad mit einer Round-Trip-Zeit von 5 ms benötigt 20 Verbindungen mit 16 KB-Fenstern oder 5 mit 64 KB-Fenstern.
Ein langsamer einzelner Download über einen entfernten Proxy bedeutet also nicht, dass der Link des Proxys langsam ist. Die Round-Trip-Zeit könnte das Limit sein.
Was es für Web-Scraping bedeutet
- Vergleichen Sie Proxys im selben Test: Messen Sie einen festen Download zum gleichen Ziel über jeden Proxy, da sich der Durchsatz mit der Entfernung und dem Pfad ändert. In curl zeigt
time_connect, wann die TCP-Verbindung zum Proxy abgeschlossen wurde, getrennt vontime_total. - Skalieren Sie mit parallelen Verbindungen, innerhalb der Grenzen: gleichzeitige Verbindungen erhöhen den Gesamtdurchsatz, aber HTTP/1.1 besagt, dass ein Client die gleichzeitigen Verbindungen zu einem Server auf ein Minimum beschränken sollte. Scrapy's AutoThrottle zielt darauf ab, eine Zielanzahl von Anfragen in Bearbeitung zu halten, und in den Dokumenten wird gesagt, dass das Erhöhen dieses Ziels den Durchsatz und die Belastung der Server erhöht.
- Wiederverwenden von Verbindungen für kleine Seiten: Jede neue Verbindung benötigt Rundreisen für DNS-, TCP- und TLS-Setup, bevor Daten fließen, daher spart das Wiederverwenden einer Verbindung mehr Zeit für den Transfer.