API (Antaramuka Pengaturcaraan Aplikasi)
API adalah satu set peraturan yang ditetapkan yang membolehkan satu perisian berkomunikasi dengan perisian lain, membolehkan aplikasi meminta dan menukar data dalam format terstruktur, seperti JSON, tanpa perlu menganalisis HTML mentah. Apabila sebuah laman web memuatkan datanya dari API, dokumentasi Scrapy menyebut bahawa mengulangi permintaan tersebut adalah pendekatan yang disukai, kerana ia memberikan data yang terstruktur dan lengkap dengan masa penguraian yang minimum.
Di web, "API" biasanya merujuk kepada API web: satu set URL, yang dipanggil titik akhir, yang menerima permintaan HTTP dan mengembalikan data bukannya halaman.
Cara Permintaan API Berfungsi
- Klien memanggil titik akhir: ia menghantar permintaan HTTP, seperti
GET, ke URL tertentu. - Ia mengikuti skema API: permintaan mesti menggunakan parameter dan format yang dijangkakan oleh API, atau pelayan tidak dapat mengembalikan jawapan yang boleh digunakan.
- Ia membuktikan siapa ia: banyak API memerlukan kunci API atau token akses dari OAuth.
- Pelayan memberi respons: ia mengembalikan data, sering kali dalam format JSON, ditambah dengan kod status seperti
200untuk kejayaan atau429apabila terlalu banyak permintaan dihantar.
Jenis API yang Biasa
- REST: satu gaya seni bina untuk perkhidmatan web. Cloudflare menyatakan bahawa kebanyakan API hari ini adalah API REST.
- SOAP: satu protokol pemesejan, bukannya gaya seperti REST.
- GraphQL: satu bahasa pertanyaan untuk API. Laman web rasminya menyatakan bahawa klien boleh meminta tepat bidang yang mereka perlukan dan mendapatkan data berkaitan dalam satu permintaan.
- Webhooks: pelayan memanggil URL anda apabila satu peristiwa berlaku, bukannya anda yang meminta. Lihat webhook.
API vs. Pengikisan Web
| API Rasmi | Pengikisan Web | |
|---|---|---|
| Apa yang anda dapat | Data terstruktur, sering kali dalam format JSON | HTML yang dibina untuk manusia |
| Had | Didokumentasikan, seperti 60 permintaan tidak diautentikasi atau 5,000 permintaan diautentikasi per jam di GitHub | Tidak diterbitkan, walaupun laman web masih boleh mengehadkan kadar |
| Format | Ditentukan oleh skema API | Apa sahaja yang HTML halaman tersebut |
| Liputan | Hanya data yang pemilik memilih untuk dedahkan | Apa sahaja yang ditunjukkan di halaman awam |
Beberapa penyedia proksi dan ekstraksi data menawarkan "API pengikis" mereka sendiri yang menggabungkan infrastruktur proksi dengan penguraian terbina dalam, secara efektif mengubah laman web yang tidak terstruktur menjadi respons API terstruktur bagi pihak pelanggan.
Banyak Laman Web Mempunyai API Tersembunyi
Halaman yang memuatkan kandungan dengan JavaScript sering kali mengambilnya dari API laman web itu sendiri. Dokumentasi Scrapy mengesyorkan mencari permintaan tersebut di alat rangkaian pelayar anda dan mengulanginya. Kadang-kadang kaedah HTTP dan URL yang sama sudah mencukupi. Pada masa lain, anda juga memerlukan header, badan atau parameter borangnya. Jika respons adalah JSON, anda boleh memuatkannya terus tanpa perlu menganalisis HTML.
Ulangi Hanya Permintaan yang Selamat untuk Diulang
Kaedah HTTP berbeza dalam apa yang berlaku jika permintaan dihantar dua kali. MDN mendefinisikan kaedah sebagai idempotent apabila beberapa permintaan yang sama mempunyai kesan yang sama seperti satu:
- Selamat untuk diulang:
GET,HEAD,OPTIONS,PUTdanDELETEadalah idempotent. - Tidak dijamin:
POSTdanPATCHtidak, jadi mengulang permintaanPOSTyang gagal boleh mencipta pesanan, mesej atau rekod duplikat. - Pembaikan dalam proses: satu draf IETF mendefinisikan header
Idempotency-Keyyang membolehkan pelayan mengenali pengulangan permintaan yang samaPOST. Ia menyenaraikan Stripe, Adyen dan lain-lain yang sudah menggunakan header serupa.
Apa Maknanya untuk Pengikisan Web
-
Periksa untuk API terlebih dahulu: API rasmi atau tersembunyi biasanya memberikan data yang lebih bersih daripada HTML.
-
Hormati had yang didokumentasikan: had yang lebih tinggi GitHub terpakai untuk pengguna yang diautentikasi, jadi ia mengikuti akaun, bukan IP.
-
Ulangi bacaan, bukan penulisan: pengulangan automatik adalah yang paling selamat pada permintaan
GET.