Ang scraper API ay isang hosted na serbisyo na kumukuha ng web page para sa iyo at ibinabalik ang nilalaman nito sa pamamagitan ng isang API call. Ipinapadala mo ang target na URL. Ang serbisyo ang humahawak sa mga proxy, browser rendering, at anti-bot measures, at ibinabalik ang HTML o structured JSON. Ang ilang serbisyo ay nagpa-parse din ng page sa mga named fields, tulad ng pamagat at presyo ng produkto.

Ang ilang scraper API ay may presyo kada request at naniningil lamang para sa mga matagumpay na tugon. Ang ilan ay humahawak din ng mga ban internally, na nagbabalik ng ban response lamang kapag hindi nila maiiwasan ang ban sa isang makatuwirang oras.

Paano Gumagana ang Request ng Scraper API

  • Request: Ipadala ang target na URL sa endpoint ng serbisyo kasama ang iyong API key, na maaaring ilagay sa isang query parameter o HTTP authentication header depende sa serbisyo.
  • Options: Ang mga parameter ay maaaring mag-enable ng JavaScript rendering, pumili ng bansa kung saan nagmumula ang request, o muling gamitin ang session sa ilang requests.
  • Response: Ang serbisyo ay nagbabalik ng raw HTML, browser-rendered HTML, isang screenshot o nakuha na structured data.
  • Async jobs: Para sa malalaking batch, ang ilang serbisyo ay tumatanggap ng job, nagbabalik ng status URL para suriin, at maaaring magpadala ng mga resulta sa isang webhook.

Scraper API vs. Official API

Ang official API ay inilathala ng may-ari ng website para sa programmatic access. Nagbabalik ito ng data sa isang documented format at nagtatakda ng mga tiyak na limitasyon. Halimbawa, ang GitHub's REST API ay nagpapahintulot ng 60 na hindi authenticated na requests bawat oras at 5,000 bawat oras para sa isang authenticated user. Sa kabilang banda, ang scraper API ay gumagana mula sa mga pahina na ginawa para sa mga human browsers. Maaari itong maabot ang pampublikong data na wala namang official API na inaalok.

Kaugnay na Mga Termino