Deurvoer is die tempo waarteen data werklik oor 'n verbinding afgelewer word, gemeet oor tyd en gewoonlik gegee in bits per sekonde, soos Mbps. Anders as bandwydte, wat 'n skakel se kapasiteit is, is deurvoer wat deurkom nadat vertragings, pakkieverlies en protokoloorhoofde hul aandeel geneem het.

Die IETF se standaard vir die toetsing van TCP-deurvoer, RFC 6349, noem die tempo van data wat bo die TCP/IP-koptekste vervoer word "goeie deurvoer," wat laer is as die ruwe tempo op die draad.

Deurvoer vs. Bandwydte vs. Latensie

DeurvoerBandwydteLatensie
Vraag wat dit beantwoordHoe vinnig kom data aan?Hoeveel kan die skakel dra?Hoe lank neem elke uitruiling?
Wat dit meetData wat werklik per sekonde afgelewer wordMeeste data wat 'n skakel per sekonde kan draTyd vir data om daarheen en terug te reis
Tipiese eenheidMbpsMbps of GbpsMillisekondes

In proxy-pryse beteken "bandwydte" gewoonlik die totale data wat in GB oorgedra is, nie spoed nie. Sien bandwydte vir die verskil.

Waarom Deurvoer Onder Bandwydte Val

  • Protokoloorhoofde: na 20-byte IP en 20-byte TCP-koptekste plus Ethernet-raamwerk, dra 'n 100 Mbps Ethernet-skakel maksimum ongeveer 94.9 Mbps van TCP goeie deurvoer.
  • Ontvangvenster en rondreis tyd: 'n verbinding se deurvoer is beperk tot die ontvangvenster (in bits) gedeel deur die rondreis tyd. 'n 100 Mbps pad met 'n 5 ms rondreis en 'n 16 KB venster plafonneer op 25.6 Mbps.
  • Bandwydte-vertragingsproduk: om 'n skakel te vul, moet die ontvangvenster ten minste die skakel se kapasiteit vermenigvuldig met sy rondreisvertraging wees.
  • Pakkieverlies: TCP se oorlaaivenster word bereken vanaf die pad se verlieskoers, en verlore pakkies moet herverzend word.

Hoe Deurvoer Gemet Word

'n TCP-deurvoer toets beweeg werklike data en tyd dit:

  1. Oordrag van 'n blok data: die Werklike TCP Oordrag Tyd is die tyd wat dit neem om daardie blok oor die verbinding of verbindings te stuur.
  2. Vergelyk met die ideale: die Oordrag Tyd Verhouding verdeel die werklike oordrag tyd deur die ideale oordrag tyd vir daardie pad.
  3. Tel herverzendinge: TCP Doeltreffendheid is die persentasie van bytes wat nie herverzend is nie.

Kontroleer die eenhede wanneer jy resultate vergelyk. Netwerkspoed word gegee in bits per sekonde, terwyl sommige gereedskap bytes per sekonde rapporteer. 'n Byte is 8 bits, so 12.5 MB per sekonde gelyk aan 100 Mbps. curl, byvoorbeeld, rapporteer sy speed_download waarde as die gemiddelde spoed van die volledige aflaai in bytes per sekonde.

'n Proxy Hop Verlaag Per-Verbinding Deurvoer

'n Enkele TCP-verbinding kan maksimum een ontvangvenster van data per rondreis beweeg. 'n Proxy voeg 'n ander been by die pad, sodat die rondreis groei en dieselfde venster minder per sekonde lewer.

  • Werksvoorbeeld: met 'n 16 KB venster, plafonneer 'n 5 ms rondreis een verbinding op 25.6 Mbps. By 50 ms, gee dieselfde venster 2.56 Mbps.
  • Meer verbindings vul die pyp: kleiner vensters benodig meer parallelle verbindings om 'n skakel te vul. 'n 500 Mbps pad met 'n 5 ms rondreis benodig 20 verbindings met 16 KB vensters, of 5 met 64 KB vensters.

So 'n stadige enkele aflaai deur 'n verre proxy beteken nie dat die proxy se skakel stadig is nie. Die rondreis mag die limiet wees.

Wat Dit Beteken Vir Web Skraping

  • Vergelyk proxies op dieselfde toets: tyd 'n vaste aflaai na dieselfde teiken deur elke proxy, aangesien deurset verander met afstand en pad. In curl, time_connect wys wanneer die TCP-verbinding na die proxy voltooi is, geskei van time_total.
  • Skaal met parallelle verbindings, binne perke: gelyktydige verbindings verhoog totale deurset, maar HTTP/1.1 sê 'n kliënt behoort om gelyktydige verbindings na een bediener te beperk. Scrapy se AutoThrottle mik om 'n teiken aantal versoeke in die lug te hou, en sy dokumentasie sê dat die verhoging van daardie teiken deurset en die las op bedieners verhoog.
  • Herbruik verbindings vir klein bladsye: elke nuwe verbinding spandeer rondreise op DNS, TCP en TLS-opstelling voordat enige data vloei, so die hergebruik van een hou meer tyd vir oordrag.

Verwante Terme