Ang web scraping ay ang automated extraction of data mula sa mga website: isang programa ang humihiling ng mga pahina, pinaparse ang ibinalik na HTML o JSON, at sine-save ang mga tiyak na field, tulad ng mga presyo o listahan, sa isang structured format. Ito ay naiiba sa web crawling, na sumusunod sa mga link para matuklasan at ma-index ang mga pahina; ang scraping ay kumukuha ng tiyak na data mula sa mga pahinang nakuha.
Isang basic scraper ang nagpapadala ng HTTP request sa isang target URL, tumatanggap ng raw HTML (o JSON, para sa mga API-based na site), at pinaparse ang mga tiyak na data points na kailangan: mga presyo ng produkto, mga ranggo sa paghahanap, impormasyon sa pakikipag-ugnayan, at iba pa. Sa malakihang operasyon, ang scraping ay nahaharap sa rate limits, na naglilimita kung gaano karaming requests ang maaring gawin ng isang IP address sa isang takdang oras.
Mga Uri ng Web Scraping Tools
- Code libraries: Mga script na nagpapadala ng HTTP requests at nagpa-parse ng HTML, halimbawa Python na may HTML parser.
- Browser automation: Mga tool tulad ng Selenium o Playwright na naglo-load ng buong pahina, kasama ang JavaScript-built na nilalaman, at pagkatapos ay kumukuha ng data mula sa rendered DOM.
- Official APIs: Kung saan nag-aalok ang isang site ng isa, ito ay nagbabalik ng structured data nang direkta, nang walang HTML parsing.
Mga Karaniwang Anti-Scraping Measures
Bilang karagdagan sa rate limits, gumagamit ang mga site ng iba pang paraan upang makita at pabagalin ang mga scrapers:
- CAPTCHAs na humihiling sa bisita na patunayan na sila ay tao.
- robots.txt files na nagsasaad kung aling mga landas ang maaring ma-access ng mga automated crawlers.
- Honeypots: Mga nakatagong link na hindi nakikita o na-click ng mga tao, ginagamit upang makilala at ma-fingerprint ang mga bots.
- Device fingerprinting, na maaaring muling makilala ang isang browser o device mula sa mga katangian nito, kahit na na-clear ang cookies o kapag gumagamit ng VPN.