การเก็บข้อมูลจากเว็บคือการ ดึงข้อมูลอัตโนมัติ จากเว็บไซต์: โปรแกรมจะขอหน้าเว็บ, แยกวิเคราะห์ HTML หรือ JSON ที่ส่งกลับมา, และบันทึกฟิลด์เฉพาะ เช่น ราคา หรือ รายการ ในรูปแบบที่มีโครงสร้าง มันแตกต่างจากการค้นหาเว็บ ซึ่งติดตามลิงก์เพื่อค้นพบและจัดทำดัชนีหน้า; การเก็บข้อมูลจะดึงข้อมูลเฉพาะออกจากหน้าที่ถูกดึงมา
เครื่องมือเก็บข้อมูลพื้นฐานจะส่งคำขอ HTTP ไปยัง URL เป้าหมาย, รับ HTML ดิบ (หรือ JSON สำหรับเว็บไซต์ที่ใช้ API), และแยกข้อมูลเฉพาะที่ต้องการ: ราคาสินค้า, อันดับการค้นหา, ข้อมูลการติดต่อ, และอื่น ๆ เมื่อทำในขนาดใหญ่ การเก็บข้อมูลจะพบกับการจำกัดอัตรา ซึ่งจำกัดจำนวนคำขอที่ที่อยู่ IP เดียวสามารถทำได้ในช่วงเวลาที่กำหนด
ประเภทของเครื่องมือเก็บข้อมูลจากเว็บ
- ไลบรารีโค้ด: สคริปต์ที่ส่งคำขอ HTTP และแยกวิเคราะห์ HTML เช่น Python ที่ใช้ตัวแยกวิเคราะห์ HTML
- การทำงานอัตโนมัติของเบราว์เซอร์: เครื่องมือเช่น Selenium หรือ Playwright โหลดหน้าเว็บทั้งหมด รวมถึงเนื้อหาที่สร้างด้วย JavaScript จากนั้นดึงข้อมูลจาก DOM ที่เรนเดอร์
- API อย่างเป็นทางการ: เมื่อเว็บไซต์มี API จะส่งข้อมูลที่มีโครงสร้างโดยตรง โดยไม่ต้องแยกวิเคราะห์ HTML
มาตรการป้องกันการเก็บข้อมูลทั่วไป
นอกจากการจำกัดอัตราแล้ว เว็บไซต์ยังใช้วิธีอื่น ๆ ในการตรวจจับและชะลอการเก็บข้อมูล:
- CAPTCHA ที่ขอให้ผู้เข้าชมพิสูจน์ว่าตนเป็นมนุษย์
- ไฟล์ robots.txt ที่ระบุเส้นทางที่โปรแกรมเก็บข้อมูลอัตโนมัติสามารถเข้าถึงได้
- Honeypots: ลิงก์ที่ซ่อนอยู่ซึ่งผู้เข้าชมมนุษย์ไม่เคยเห็นหรือคลิก ใช้เพื่อระบุและสร้างลายนิ้วมือของบอท
- การสร้างลายนิ้วมือของอุปกรณ์ ซึ่งสามารถระบุเบราว์เซอร์หรืออุปกรณ์จากลักษณะเฉพาะ แม้หลังจากที่ลบคุกกี้หรือเมื่อใช้ VPN