Versoek vertraging is die doelbewuste praktyk om die tempo te vertraag waarteen 'n scraper versoeke stuur, met vertragings tussen hulle, om te verhoed dat die teikenwebwerf se bedieners te hard getref word.

Die term word ook aan die bedienerkant gebruik. Microsoft beskryf vertraging as 'n tegniek wat wolk-API's gebruik om te beperk hoeveel versoeke in 'n tydperk gemaak kan word, sodat die API beskikbaar bly vir alle gebruikers. In elk geval is die doel dieselfde: hou verkeer op 'n pas wat die bediener kan hanteer.

Vertraging vs. Tempo Beperking

VertragingTempo beperking
HoofideeBeheer die pas van versoekeBeperk die aantal versoeke in 'n tydvenster
Oortollige versoekeGewoonlik vertraag of verspreiGewoonlik verwerp
Wie dit toepasDie kliënt, die bediener of albeiGewoonlik die bediener
Tipiese seinStadiger antwoorde, of 429 met Retry-After429 Too Many Requests

Die twee terme oorvleuel in praktyk. AWS, byvoorbeeld, beskryf vertraagde versoeke oor 'n limiet as verwerp met 'n 429 Too Many Requests fout. Sien tempo beperking vir hoe bedieners versoeke tel.

Hoe Bedieners Vertraging Toepas

  • Token emmer: AWS beveel hierdie algoritme aan, waar elke versoek 'n token gebruik en tokens op 'n vasgestelde tempo per sekonde herlaai.
  • Statuskode: die mees algemene sein is 429 Too Many Requests. Microsoft noem dat nie elke API dit gebruik nie: GitHub kan met 403 antwoordgee.
  • Wag tye: sommige API's voeg 'n Retry-After header by wat sê hoe lank om te wag voordat die volgende versoek gemaak word.

Hoe Scrapers Hulle Self Vertraging

  • Vaste vertraging: 'n vasgestelde pouse tussen versoeke na dieselfde webwerf.
  • Gevarieerde vertraging: Scrapy se DOWNLOAD_DELAY_JITTER instelling voeg ewekansige variasie by elke vertraging, sodat versoeke nie op 'n presiese beat aankom nie.
  • Aanpasbare vertraging: Scrapy se AutoThrottle uitbreiding pas aan by 'n webwerf se antwoorde. Dit stel die teikenvertraging in op die bediener se latensie gedeel deur 'n teiken mededingendheid, en versnel nie op fout antwoorde nie.
  • Mededingendheid beperkings: minder gelyktydige verbindings na een webwerf verlaag ook die versoektempo.

Herhalings Kan Vertraging Ongedaan Maak

'n Scraper kan sy eerste versoeke goed pas en steeds 'n webwerf oorstroom met herhalings. 'n Artikel van die Amazon Builders' Library waarsku dat as 'n stelsel oorlaai is, kan herhalings die oorlaai erger maak eerder as beter. Dit gee 'n voorbeeld waar lae wat elkeen onafhanklik herhaal die las op 'n databasis 243 keer verhoog.

Diezelfde artikel lys die oplossings:

  1. Terugtrek eksponensieel: verhoog die wag na elke mislukte poging.
  2. Voeg jitter by: voeg ewekansigheid by elke wag, sodat herhalings oor tyd versprei eerder as om saam aan te kom.
  3. Beperk dit: stel 'n maksimum wag en 'n maksimum aantal herhalings in.

Wat Dit Beteken vir Web Scraping

  • Vertraag per webwerf, nie per werk nie: beperkings geld vir elke teiken, so pas versoeke aan elke domein apart aan.
  • Behandel 429 as 'n pouse: wag vir die Retry-After tyd, of trek terug met jitter wanneer daar nie een is nie.
  • Nuwe IP's vervang nie pacing nie: om IP's te verander na 'n 429 help nie as die webwerf ook tel volgens koekie, rekening of vingerafdruk.

Verwante Terme