API สแครปเปอร์ (Scraper API) คือบริการที่โฮสต์ซึ่งดึงหน้าเว็บให้คุณและส่งคืนเนื้อหาผ่านการเรียก API หนึ่งครั้ง คุณส่ง URL เป้าหมาย บริการจะจัดการพร็อกซี การเรนเดอร์เบราว์เซอร์ และมาตรการต่อต้านบอท จากนั้นส่งคืน HTML หรือ JSON ที่มีโครงสร้าง บางบริการยังแยกหน้าเป็นฟิลด์ที่มีชื่อ เช่น ชื่อและราคาของผลิตภัณฑ์

บาง API สแครปเปอร์มีการคิดค่าบริการต่อคำขอและเรียกเก็บเงินเฉพาะสำหรับการตอบสนองที่สำเร็จ บางบริการยังจัดการการแบนภายใน โดยส่งคืนการตอบสนองการแบนเฉพาะเมื่อไม่สามารถหลีกเลี่ยงการแบนได้ในเวลาที่เหมาะสม

วิธีการทำงานของคำขอ API สแครปเปอร์

  • คำขอ: ส่ง URL เป้าหมายไปยังจุดสิ้นสุดของบริการพร้อมกับคีย์ API ของคุณ ซึ่งจะอยู่ในพารามิเตอร์การค้นหาหรือส่วนหัวการตรวจสอบสิทธิ์ HTTP ขึ้นอยู่กับบริการ
  • ตัวเลือก: พารามิเตอร์สามารถเปิดการเรนเดอร์ JavaScript เลือกประเทศที่คำขอมาจาก หรือใช้เซสชันซ้ำในหลายคำขอ
  • การตอบสนอง: บริการจะส่งคืน HTML ดิบ HTML ที่เรนเดอร์โดยเบราว์เซอร์ สกรีนช็อต หรือข้อมูลที่ถูกดึงออกมา ข้อมูลที่มีโครงสร้าง
  • งานแบบ Async: สำหรับชุดข้อมูลขนาดใหญ่ บางบริการจะรับงาน ส่งคืน URL สถานะเพื่อตรวจสอบ และสามารถส่งผลลัพธ์ไปยัง เว็บฮุค

API สแครปเปอร์ vs. API อย่างเป็นทางการ

API อย่างเป็นทางการถูกเผยแพร่โดยเจ้าของเว็บไซต์เพื่อการเข้าถึงแบบโปรแกรม มันส่งคืนข้อมูลในรูปแบบที่มีเอกสารและตั้งขีดจำกัดที่ชัดเจน API REST ของ GitHub ยกตัวอย่างเช่น อนุญาตให้มีการร้องขอที่ไม่ได้รับการตรวจสอบ 60 ครั้งต่อชั่วโมงและ 5,000 ครั้งต่อชั่วโมงสำหรับผู้ใช้ที่ได้รับการตรวจสอบสิทธิ์ ในขณะที่ API สแครปเปอร์ทำงานจากหน้าเว็บที่สร้างขึ้นสำหรับเบราว์เซอร์ของมนุษย์ มันสามารถเข้าถึงข้อมูลสาธารณะที่ไม่มี API อย่างเป็นทางการเสนอ

คำศัพท์ที่เกี่ยวข้อง