API scraper adalah layanan yang dihosting yang mengambil halaman web untuk Anda dan mengembalikan kontennya melalui satu panggilan API. Anda mengirimkan URL target. Layanan ini menangani proxy, rendering browser, dan langkah-langkah anti-bot, kemudian mengembalikan HTML atau JSON terstruktur. Beberapa layanan juga mengurai halaman menjadi bidang bernama, seperti judul dan harga produk.
Beberapa API scraper dikenakan biaya per permintaan dan hanya mengenakan biaya untuk respons yang berhasil. Beberapa juga menangani larangan secara internal, mengembalikan respons larangan hanya ketika mereka tidak dapat menghindari larangan dalam waktu yang wajar.
Cara Kerja Permintaan API Scraper
- Permintaan: Kirim URL target ke endpoint layanan dengan kunci API Anda, yang dimasukkan dalam parameter kueri atau header otentikasi HTTP tergantung pada layanan.
- Opsi: Parameter dapat mengaktifkan rendering JavaScript, memilih negara asal permintaan, atau menggunakan kembali sesi di beberapa permintaan.
- Respons: Layanan mengembalikan HTML mentah, HTML yang dirender oleh browser, tangkapan layar, atau data terstruktur yang diekstrak.
- Pekerjaan Async: Untuk batch besar, beberapa layanan menerima pekerjaan, mengembalikan URL status untuk diperiksa, dan dapat mengirim hasil ke webhook.
API Scraper vs. API Resmi
API resmi diterbitkan oleh pemilik situs web untuk akses programatik. Ini mengembalikan data dalam format yang didokumentasikan dan menetapkan batasan eksplisit. API REST GitHub, misalnya, memungkinkan 60 permintaan tidak terautentikasi per jam dan 5.000 per jam untuk pengguna yang terautentikasi. Sebaliknya, API scraper bekerja dari halaman yang dibangun untuk browser manusia. Ini dapat mengakses data publik yang tidak ditawarkan oleh API resmi.