Web scraping adalah ekstraksi data otomatis dari situs web: sebuah program meminta halaman, mem-parsing HTML atau JSON yang dikembalikan, dan menyimpan bidang tertentu, seperti harga atau daftar, dalam format terstruktur. Ini berbeda dari web crawling, yang mengikuti tautan untuk menemukan dan mengindeks halaman; scraping menarik data spesifik dari halaman yang diambil.
Sebuah scraper dasar mengirim permintaan HTTP ke URL target, menerima HTML mentah (atau JSON, untuk situs berbasis API), dan mem-parsing data spesifik yang dibutuhkan: harga produk, peringkat pencarian, informasi kontak, dan sejenisnya. Dalam skala besar, scraping menghadapi batasan laju, yang membatasi berapa banyak permintaan yang dapat dilakukan oleh satu alamat IP dalam jendela waktu tertentu.
Jenis Alat Web Scraping
- Perpustakaan kode: Skrip yang mengirim permintaan HTTP dan mem-parsing HTML, misalnya Python dengan pem-parser HTML.
- Automasi browser: Alat seperti Selenium atau Playwright memuat halaman penuh, termasuk konten yang dibangun dengan JavaScript, kemudian mengekstrak data dari DOM yang dirender.
- API resmi: Di mana sebuah situs menawarkan satu, ia mengembalikan data terstruktur secara langsung, tanpa pem-parsing HTML.
Langkah Anti-Scraping yang Umum
Selain batasan laju, situs menggunakan cara lain untuk mendeteksi dan memperlambat scraper:
- CAPTCHA yang meminta pengunjung untuk membuktikan bahwa mereka manusia.
- file robots.txt yang menyatakan jalur mana yang dapat diakses oleh crawler otomatis.
- Honeypots: Tautan tersembunyi yang tidak pernah dilihat atau diklik oleh pengunjung manusia, digunakan untuk mengidentifikasi dan mengenali bot.
- Pengenalan perangkat, yang dapat mengenali kembali browser atau perangkat dari karakteristiknya, bahkan setelah cookie dihapus atau saat VPN digunakan.