Pengikisan web adalah pengekstrakan data secara automatik dari laman web: sebuah program meminta halaman, menganalisis HTML atau JSON yang dikembalikan, dan menyimpan bidang tertentu, seperti harga atau senarai, dalam format yang terstruktur. Ia berbeza daripada pengikisan web, yang mengikuti pautan untuk menemui dan mengindeks halaman; pengikisan menarik data tertentu keluar dari halaman yang diambil.

Pengikis asas menghantar permintaan HTTP ke URL sasaran, menerima HTML mentah (atau JSON, untuk laman berasaskan API), dan menganalisis titik data tertentu yang diperlukan: harga produk, kedudukan carian, maklumat hubungan, dan seumpamanya. Pada skala besar, pengikisan menghadapi had kadar, yang mengehadkan berapa banyak permintaan yang boleh dibuat oleh satu alamat IP dalam jangka masa tertentu.

Jenis Alat Pengikisan Web

  • Pustaka kod: Skrip yang menghantar permintaan HTTP dan menganalisis HTML, contohnya Python dengan pengurai HTML.
  • Automasi pelayar: Alat seperti Selenium atau Playwright memuatkan halaman penuh, termasuk kandungan yang dibina dengan JavaScript, kemudian mengekstrak data dari DOM yang dirender.
  • API rasmi: Di mana laman web menawarkan satu, ia mengembalikan data terstruktur secara langsung, tanpa penguraian HTML.

Langkah Anti-Pengikisan yang Biasa

Selain had kadar, laman web menggunakan cara lain untuk mengesan dan melambatkan pengikis:

  • CAPTCHA yang meminta pelawat untuk membuktikan mereka adalah manusia.
  • fail robots.txt yang menyatakan laluan mana yang boleh diakses oleh pengikis automatik.
  • Honeypots: Pautan tersembunyi yang tidak pernah dilihat atau diklik oleh pelawat manusia, digunakan untuk mengenal pasti dan mengesan bot.
  • Pengesanan peranti, yang boleh mengenal pasti semula pelayar atau peranti berdasarkan ciri-cirinya, walaupun selepas kuki dibersihkan atau apabila VPN digunakan.

Istilah Berkaitan