API สแครปเปอร์ (Scraper API) คือบริการที่โฮสต์ซึ่งดึงหน้าเว็บให้คุณและส่งคืนเนื้อหาผ่านการเรียก API หนึ่งครั้ง คุณส่ง URL เป้าหมาย บริการจะจัดการพร็อกซี การเรนเดอร์เบราว์เซอร์ และมาตรการต่อต้านบอท จากนั้นส่งคืน HTML หรือ JSON ที่มีโครงสร้าง บางบริการยังแยกหน้าเป็นฟิลด์ที่มีชื่อ เช่น ชื่อและราคาของผลิตภัณฑ์
บาง API สแครปเปอร์มีการคิดค่าบริการต่อคำขอและเรียกเก็บเงินเฉพาะสำหรับการตอบสนองที่สำเร็จ บางบริการยังจัดการการแบนภายใน โดยส่งคืนการตอบสนองการแบนเฉพาะเมื่อไม่สามารถหลีกเลี่ยงการแบนได้ในเวลาที่เหมาะสม
วิธีการทำงานของคำขอ API สแครปเปอร์
- คำขอ: ส่ง URL เป้าหมายไปยังจุดสิ้นสุดของบริการพร้อมกับคีย์ API ของคุณ ซึ่งจะอยู่ในพารามิเตอร์การค้นหาหรือส่วนหัวการตรวจสอบสิทธิ์ HTTP ขึ้นอยู่กับบริการ
- ตัวเลือก: พารามิเตอร์สามารถเปิดการเรนเดอร์ JavaScript เลือกประเทศที่คำขอมาจาก หรือใช้เซสชันซ้ำในหลายคำขอ
- การตอบสนอง: บริการจะส่งคืน HTML ดิบ HTML ที่เรนเดอร์โดยเบราว์เซอร์ สกรีนช็อต หรือข้อมูลที่ถูกดึงออกมา ข้อมูลที่มีโครงสร้าง
- งานแบบ Async: สำหรับชุดข้อมูลขนาดใหญ่ บางบริการจะรับงาน ส่งคืน URL สถานะเพื่อตรวจสอบ และสามารถส่งผลลัพธ์ไปยัง เว็บฮุค
API สแครปเปอร์ vs. API อย่างเป็นทางการ
API อย่างเป็นทางการถูกเผยแพร่โดยเจ้าของเว็บไซต์เพื่อการเข้าถึงแบบโปรแกรม มันส่งคืนข้อมูลในรูปแบบที่มีเอกสารและตั้งขีดจำกัดที่ชัดเจน API REST ของ GitHub ยกตัวอย่างเช่น อนุญาตให้มีการร้องขอที่ไม่ได้รับการตรวจสอบ 60 ครั้งต่อชั่วโมงและ 5,000 ครั้งต่อชั่วโมงสำหรับผู้ใช้ที่ได้รับการตรวจสอบสิทธิ์ ในขณะที่ API สแครปเปอร์ทำงานจากหน้าเว็บที่สร้างขึ้นสำหรับเบราว์เซอร์ของมนุษย์ มันสามารถเข้าถึงข้อมูลสาธารณะที่ไม่มี API อย่างเป็นทางการเสนอ