API (Antaramuka Pengaturcaraan Aplikasi)

API adalah satu set peraturan yang ditetapkan yang membolehkan satu perisian berkomunikasi dengan perisian lain, membolehkan aplikasi meminta dan menukar data dalam format terstruktur, seperti JSON, tanpa perlu menganalisis HTML mentah. Apabila sebuah laman web memuatkan datanya dari API, dokumentasi Scrapy menyebut bahawa mengulangi permintaan tersebut adalah pendekatan yang disukai, kerana ia memberikan data yang terstruktur dan lengkap dengan masa penguraian yang minimum.

Di web, "API" biasanya merujuk kepada API web: satu set URL, yang dipanggil titik akhir, yang menerima permintaan HTTP dan mengembalikan data bukannya halaman.

Cara Permintaan API Berfungsi

  1. Klien memanggil titik akhir: ia menghantar permintaan HTTP, seperti GET, ke URL tertentu.
  2. Ia mengikuti skema API: permintaan mesti menggunakan parameter dan format yang dijangkakan oleh API, atau pelayan tidak dapat mengembalikan jawapan yang boleh digunakan.
  3. Ia membuktikan siapa ia: banyak API memerlukan kunci API atau token akses dari OAuth.
  4. Pelayan memberi respons: ia mengembalikan data, sering kali dalam format JSON, ditambah dengan kod status seperti 200 untuk kejayaan atau 429 apabila terlalu banyak permintaan dihantar.

Jenis API yang Biasa

  • REST: satu gaya seni bina untuk perkhidmatan web. Cloudflare menyatakan bahawa kebanyakan API hari ini adalah API REST.
  • SOAP: satu protokol pemesejan, bukannya gaya seperti REST.
  • GraphQL: satu bahasa pertanyaan untuk API. Laman web rasminya menyatakan bahawa klien boleh meminta tepat bidang yang mereka perlukan dan mendapatkan data berkaitan dalam satu permintaan.
  • Webhooks: pelayan memanggil URL anda apabila satu peristiwa berlaku, bukannya anda yang meminta. Lihat webhook.

API vs. Pengikisan Web

API RasmiPengikisan Web
Apa yang anda dapatData terstruktur, sering kali dalam format JSONHTML yang dibina untuk manusia
HadDidokumentasikan, seperti 60 permintaan tidak diautentikasi atau 5,000 permintaan diautentikasi per jam di GitHubTidak diterbitkan, walaupun laman web masih boleh mengehadkan kadar
FormatDitentukan oleh skema APIApa sahaja yang HTML halaman tersebut
LiputanHanya data yang pemilik memilih untuk dedahkanApa sahaja yang ditunjukkan di halaman awam

Beberapa penyedia proksi dan ekstraksi data menawarkan "API pengikis" mereka sendiri yang menggabungkan infrastruktur proksi dengan penguraian terbina dalam, secara efektif mengubah laman web yang tidak terstruktur menjadi respons API terstruktur bagi pihak pelanggan.

Banyak Laman Web Mempunyai API Tersembunyi

Halaman yang memuatkan kandungan dengan JavaScript sering kali mengambilnya dari API laman web itu sendiri. Dokumentasi Scrapy mengesyorkan mencari permintaan tersebut di alat rangkaian pelayar anda dan mengulanginya. Kadang-kadang kaedah HTTP dan URL yang sama sudah mencukupi. Pada masa lain, anda juga memerlukan header, badan atau parameter borangnya. Jika respons adalah JSON, anda boleh memuatkannya terus tanpa perlu menganalisis HTML.

Ulangi Hanya Permintaan yang Selamat untuk Diulang

Kaedah HTTP berbeza dalam apa yang berlaku jika permintaan dihantar dua kali. MDN mendefinisikan kaedah sebagai idempotent apabila beberapa permintaan yang sama mempunyai kesan yang sama seperti satu:

  • Selamat untuk diulang: GET, HEAD, OPTIONS, PUT dan DELETE adalah idempotent.
  • Tidak dijamin: POST dan PATCH tidak, jadi mengulang permintaan POST yang gagal boleh mencipta pesanan, mesej atau rekod duplikat.
  • Pembaikan dalam proses: satu draf IETF mendefinisikan header Idempotency-Key yang membolehkan pelayan mengenali pengulangan permintaan yang sama POST. Ia menyenaraikan Stripe, Adyen dan lain-lain yang sudah menggunakan header serupa.

Apa Maknanya untuk Pengikisan Web

  • Periksa untuk API terlebih dahulu: API rasmi atau tersembunyi biasanya memberikan data yang lebih bersih daripada HTML.

  • Hormati had yang didokumentasikan: had yang lebih tinggi GitHub terpakai untuk pengguna yang diautentikasi, jadi ia mengikuti akaun, bukan IP.

  • Ulangi bacaan, bukan penulisan: pengulangan automatik adalah yang paling selamat pada permintaan GET.

  • API Pengikis

  • Penyahkodan Data

  • Data Terstruktur