API pengikis adalah perkhidmatan yang dihoskan yang mengambil halaman web untuk anda dan mengembalikan kandungannya melalui satu panggilan API. Anda menghantar URL sasaran. Perkhidmatan ini menguruskan proksi, pemaparan pelayar dan langkah-langkah anti-bot, kemudian mengembalikan HTML atau JSON terstruktur. Beberapa perkhidmatan juga menguraikan halaman ke dalam medan bernama, seperti tajuk dan harga produk.
Beberapa API pengikis dikenakan bayaran mengikut permintaan dan hanya mengenakan bayaran untuk respons yang berjaya. Ada juga yang menguruskan sekatan secara dalaman, mengembalikan respons sekatan hanya apabila mereka tidak dapat mengelak sekatan dalam masa yang munasabah.
Cara Permintaan API Pengikis Berfungsi
- Permintaan: Hantar URL sasaran ke titik akhir perkhidmatan dengan kunci API anda, yang dimasukkan dalam parameter pertanyaan atau header pengesahan HTTP bergantung kepada perkhidmatan.
- Pilihan: Parameter boleh menghidupkan pemaparan JavaScript, memilih negara dari mana permintaan datang, atau menggunakan semula sesi merentasi beberapa permintaan.
- Respons: Perkhidmatan mengembalikan HTML mentah, HTML yang dipaparkan oleh pelayar, tangkapan skrin atau data terstruktur yang diekstrak.
- Pekerjaan Async: Untuk kumpulan besar, beberapa perkhidmatan menerima pekerjaan, mengembalikan URL status untuk diperiksa, dan boleh menghantar hasil ke webhook.
API Pengikis vs. API Rasmi
API rasmi diterbitkan oleh pemilik laman web untuk akses programatik. Ia mengembalikan data dalam format yang didokumenkan dan menetapkan had yang jelas. API REST GitHub, sebagai contoh, membenarkan 60 permintaan tidak disahkan sejam dan 5,000 sejam untuk pengguna yang disahkan. Sebaliknya, API pengikis berfungsi dari halaman yang dibina untuk pelayar manusia. Ia boleh mengakses data awam yang tidak ditawarkan oleh mana-mana API rasmi.