Web scraping is die geoutomatiseerde ekstraksie van data van webwerwe: 'n program versoek bladsye, ontleed die teruggekeer HTML of JSON, en stoor spesifieke velde, soos pryse of lyste, in 'n gestruktureerde formaat. Dit verskil van web crawling, wat skakels volg om bladsye te ontdek en te indekseer; scraping trek spesifieke data uit die bladsye wat verkry is.

'n Basiese scraper stuur 'n HTTP-versoek na 'n teiken-URL, ontvang die rou HTML (of JSON, vir API-gebaseerde webwerwe), en ontleed die spesifieke datapunte wat nodig is: produkpryse, soekranglys, kontakbesonderhede, en soortgelyke. Op skaal stuit scraping teen tarieflimiete, wat beperk hoeveel versoeke 'n enkele IP-adres in 'n gegewe tydsraamwerk kan maak.

Tipes Web Scraping Gereedskap

  • Kode biblioteke: Skripte wat HTTP-versoeke stuur en die HTML ontleed, byvoorbeeld Python met 'n HTML-ontleder.
  • Bladsy outomatisering: Gereedskap soos Selenium of Playwright laai die volle bladsy, insluitend JavaScript-geboude inhoud, en trek dan data uit die gerenderde DOM.
  • Amptelike API's: Waar 'n webwerf een aanbied, keer dit gestruktureerde data direk terug, sonder HTML-ontleding.

Algemene Anti-Scraping Maatreëls

Benewens tarieflimiete, gebruik webwerwe ander maniere om scrapers op te spoor en te vertraag:

  • CAPTCHAs wat die besoeker vra om te bewys dat hulle menslik is.
  • robots.txt lêers wat aandui watter paaie outomatiese crawlers mag toegang hê.
  • Honeypots: Verborgen skakels wat menslike besoekers nooit sien of klik nie, wat gebruik word om bots te identifiseer en te vingerafdruk.
  • Toestel vingerafdrukke, wat 'n blaaier of toestel kan heridentifiseer op grond van sy eienskappe, selfs nadat koekies verwyder is of wanneer 'n VPN gebruik word.

Verwante Terme