'n Scraper API is 'n gehoste diens wat 'n webblad vir jou haal en sy inhoud deur een API-oproep teruggee. Jy stuur die teiken-URL. Die diens hanteer proxies, blaaiers se weergawe en teen-bot maatreëls, en gee dan HTML of gestruktureerde JSON terug. Sommige dienste parseer ook die bladsy in benoemde velde, soos 'n produk se titel en prys.
Sommige scraper APIs is geprys per versoek en hef slegs vir suksesvolle antwoorde. Sommige hanteer ook verbannings intern, en gee 'n verbanning antwoord terug slegs wanneer hulle nie die verbanning binne 'n redelike tyd kan vermy nie.
Hoe 'n Scraper API Versoek Werk
- Versoek: Stuur die teiken-URL na die diens se eindpunt met jou API-sleutel, wat in 'n navraagparameter of 'n HTTP-outekenningskop gaan, afhangende van die diens.
- Opsies: Parameters kan JavaScript-weergawes inskakel, die land kies waar die versoek vandaan kom, of 'n sessie oor verskeie versoeke hergebruik.
- Antwoord: Die diens gee die rou HTML, blaaiers se weergawe HTML, 'n skermskoot of uitgehaalde gestruktureerde data terug.
- Async werksgeleenthede: Vir groot partye aanvaar sommige dienste 'n werk, gee 'n status-URL terug om te kontroleer, en kan resultate na 'n webhook stuur.
Scraper API vs. Amptelike API
'n Amptelike API word deur die webwerf-eienaar gepubliseer vir programmatiese toegang. Dit gee data terug in 'n gedokumenteerde formaat en stel eksplisiete perke. GitHub se REST API, byvoorbeeld, laat 60 onaangetekende versoeke per uur toe en 5,000 per uur vir 'n aangetekende gebruiker. 'n Scraper API werk eerder vanaf bladsye wat vir menslike blaaiers gebou is. Dit kan openbare data bereik wat geen amptelike API bied nie.