แนวทางปฏิบัติที่ดีที่สุดในการจำกัดอัตราสำหรับโปรแกรมขูดข้อมูล

การจำกัดอัตราสามารถกำหนดได้ว่าท่อส่งข้อมูลการเก็บข้อมูลจะยังคงเสถียรหรือพังทลายภายใต้การบล็อก การลองใหม่ และค่าใช้จ่ายที่เพิ่มขึ้น เมื่อการตั้งค่าความเร็วในการส่งคำขอมีความก้าวร้าวเกินไป โปรแกรมเก็บข้อมูลจะกระตุ้นให้เกิดการตอบสนอง 429, การบล็อก 403, หน้า CAPTCHA, การหมดเวลา และการบล็อกแบบอ่อน เมื่อการตั้งค่าความเร็วมีความระมัดระวังเกินไป ข้อมูลจะกลายเป็นล้าสมัยและโครงสร้างพื้นฐานจะไม่ได้รับการใช้งานอย่างเต็มที่
สำหรับทีมที่ดำเนินการติดตามราคา, การเก็บข้อมูล SEO, การตรวจสอบการแข่งขัน, การตรวจสอบราคาการเดินทาง, การตรวจสอบโฆษณา หรือท่อข้อมูล AI การจำกัดอัตราไม่ใช่แค่การตั้งค่าทางเทคนิค แต่มันคือกลยุทธ์การดำเนินงานที่ปกป้องอัตราความสำเร็จ คุณภาพข้อมูล ค่าใช้จ่ายโครงสร้างพื้นฐาน และเสถียรภาพของเว็บไซต์เป้าหมาย
แนวทางปฏิบัติที่ดีที่สุดในการจำกัดอัตราสำหรับโปรแกรมเก็บข้อมูลรวมถึงการตั้งค่าขีดจำกัดตามโดเมน, ตามเส้นทาง, ตามพร็อกซี และตามเซสชัน; การเพิ่มความผันผวน; การใช้การถอยกลับแบบปรับตัว; การเคารพสัญญาณการจำกัดอัตรา; การตรวจสอบอัตราการบล็อกและความล่าช้า; และการปรับแต่งตามค่าใช้จ่ายต่อคำขอที่สำเร็จ
โปรแกรมเก็บข้อมูลที่ดีไม่ควรทำงานให้เร็วที่สุดเท่าที่จะทำได้ แต่ควรทำงานให้เร็วที่สุดเท่าที่จะทำได้ในขณะที่ยังคงส่งคืนข้อมูลที่ถูกต้องในค่าใช้จ่ายที่คาดการณ์ได้
การจำกัดอัตราคืออะไรในกระบวนการเก็บข้อมูล?
การจำกัดอัตราคือการควบคุมจำนวนคำขอที่โปรแกรมเก็บข้อมูลส่ง, ความเร็วที่มันส่ง, และวิธีที่มันตอบสนองเมื่อเป้าหมายเริ่มแสดงความเครียดหรือความตึงเครียด
ในการเก็บข้อมูล การจำกัดอัตรามักจะควบคุม:
- คำขอต่อวินาที
- คำขอพร้อมกัน
- คำขอต่อพร็อกซี
- คำขอต่อเซสชัน
- คำขอต่อโดเมน
- คำขอต่อประเภทเส้นทาง
- ความถี่ในการลองใหม่
- ช่วงเวลาพักหลังจากการบล็อก
- ตารางการเก็บข้อมูลตลอดเวลา
โปรแกรมเก็บข้อมูลอาจส่งข้อมูลผ่าน เว็บพร็อกซีสำหรับการเก็บข้อมูล, การทำงานอัตโนมัติของเบราว์เซอร์, ลูกค้า HTTP, หรือจุดสิ้นสุดที่คล้าย API ไม่ว่าจะเป็นสแต็กทางเทคนิคใด ๆ ความเร็วในการส่งคำขอต้องได้รับการจัดการ
หากไม่มีการจำกัดอัตรา แม้แต่โปรแกรมเก็บข้อมูลที่สร้างขึ้นอย่างดีอาจดูเหมือนการใช้ทรัพยากรเกินไป ทำให้ระบบเป้าหมายล้นหลาม หรือทำลายประสิทธิภาพค่าใช้จ่ายของตนเองผ่านการลองใหม่และการบล็อก
ทำไมการจำกัดอัตราถึงสำคัญ
การจำกัดอัตรามีผลต่อผลลัพธ์หลักสี่ประการ: การเข้าถึง, ค่าใช้จ่าย, ความสดใหม่, และคุณภาพข้อมูล
การจำกัดอัตราที่ไม่ดีอาจทำให้เกิด:
- การตอบสนอง 429 Too Many Requests
- ข้อผิดพลาด 403 Forbidden
- หน้า CAPTCHA หรือความท้าทาย
- การบล็อก Cloudflare
- การรีเซ็ตการเชื่อมต่อ
- ความลึกในการลองใหม่สูง
- ความล้มเหลวของเซสชัน
- ข้อมูลที่ผิดหรือไม่สมบูรณ์
- ค่าใช้จ่ายพร็อกซีที่สูงเกินไป
- รายงานที่ล้าสมัย
การจำกัดอัตราที่แข็งแกร่งช่วยให้ทีม:
- ลดอัตราการบล็อก
- ปรับปรุงอัตราความสำเร็จ
- ปกป้องการอยู่รอดของเซสชัน
- ลด CPSR
- เสถียรภาพช่วงการเก็บข้อมูล
- ลดการบล็อกแบบอ่อน
- หลีกเลี่ยงพายุการลองใหม่
- เก็บข้อมูลที่สะอาดขึ้น
CPSR หมายถึงค่าใช้จ่ายต่อคำขอที่สำเร็จ
ในคำพูดที่ง่าย: CPSR บอกคุณว่าผลลัพธ์ที่ถูกต้องแต่ละรายการมีค่าใช้จ่ายเท่าไรหลังจากค่าใช้จ่ายพร็อกซี, การคำนวณ, การเรนเดอร์เบราว์เซอร์, การลองใหม่, และความพยายามที่ล้มเหลว
โปรแกรมเก็บข้อมูลที่เร็วขึ้นไม่ดีกว่าถ้าความเร็วที่เพิ่มขึ้นทำให้ CPSR สูงขึ้นและคุณภาพข้อมูลต่ำลง
แนวคิดหลัก: RPS, ความพร้อมกัน, และอัตลักษณ์
ก่อนที่จะตั้งค่าขีดจำกัด ให้เข้าใจสามการควบคุมหลัก
คำขอต่อวินาที
คำขอต่อวินาที หรือ RPS, วัดจำนวนคำขอใหม่ที่เริ่มภายในหนึ่งวินาที โปรแกรมเก็บข้อมูลที่ทำงานที่ 5 RPS จะเริ่มห้าคำขอในหนึ่งวินาที
RPS ควบคุมความเร็ว
ความพร้อมกัน
ความพร้อมกันวัดจำนวนคำขอที่กำลังดำเนินการในเวลาเดียวกัน โปรแกรมเก็บข้อมูลอาจเริ่มเพียง 1 คำขอต่อวินาที แต่ยังคงมีคำขอพร้อมกัน 20 คำขอหากหน้าเว็บช้า
ความพร้อมกันควบคุมความกดดัน
อัตลักษณ์
เว็บไซต์มักจะจำกัดการเข้าชมตามอัตลักษณ์ ไม่ใช่แค่ตามโดเมน อัตลักษณ์อาจรวมถึง:
- ที่อยู่ IP
- จุดสิ้นสุดพร็อกซี
- ซับเน็ต
- ASN
- คุกกี้เซสชัน
- บัญชี
- โปรไฟล์เบราว์เซอร์
- ลายนิ้วมือของอุปกรณ์
- เส้นทางทางภูมิศาสตร์
การจำกัดอัตราที่ควบคุม RPS ทั่วไปอาจยังคงทำให้พร็อกซีหนึ่งตัว, เซสชันหนึ่งตัว, หรือเส้นทางหนึ่งตัวล้นหลาม โปรแกรมเก็บข้อมูลในสภาพการผลิตต้องการขีดจำกัดตามอัตลักษณ์และเป้าหมาย
- ใช้โทเค็นบัคเก็ตหรือการจำกัดที่คล้ายกันสำหรับอัตราการร้องขอเฉลี่ย.
- เพิ่มขีดจำกัดการทำงานพร้อมกันต่อโดเมน, เส้นทาง, และตัวตน.
- เพิ่มการกระจายเวลาเพื่อหลีกเลี่ยงการตั้งเวลาที่แม่นยำเกินไป.
- ลดความเร็วอย่างรวดเร็วเมื่อพบ 429, 403, CAPTCHA, หน้าแชลเลนจ์, และความล่าช้าที่เพิ่มขึ้น.
- ใช้เซสชันที่ติดแน่นสำหรับการทำงานที่ต้องการคุกกี้หรือความต่อเนื่องหลายขั้นตอน.
- ติดตามอัตราความสำเร็จ, อัตราการบล็อก, ความลึกในการลองใหม่, ความล่าช้า, การอยู่รอดของเซสชัน, และ CPSR.
- เพิ่มความเร็วอย่างค่อยเป็นค่อยไปหลังจากที่มีความเสถียรแล้ว.
เป้าหมายคือการควบคุมการไหลของข้อมูล ไม่ใช่การไหลสูงสุด.
การจำกัดอัตราตามโดเมน, เส้นทาง, และตัวตน
ข้อผิดพลาดทั่วไปคือการใช้ขีดจำกัดเดียวทั่วทุกเป้าหมาย.
การตั้งค่าที่ดีกว่าคือการใช้หลายชั้นของการจำกัด.
ขีดจำกัดต่อโดเมน
ขีดจำกัดต่อโดเมนช่วยป้องกันไม่ให้เว็บไซต์เป้าหมายหนึ่งได้รับการเข้าชมมากเกินไป.
ตัวอย่าง:
example.com: สูงสุด 2 RPSstore.example.com: สูงสุด 1 RPSapi.example.com: สูงสุด 0.5 RPS
สิ่งนี้ช่วยปกป้องความเสถียรเฉพาะของเป้าหมาย.
ขีดจำกัดต่อเส้นทาง
ไม่ทุกหน้ามีความไวต่อการเข้าชมเท่ากัน.
หน้าผลิตภัณฑ์อาจทนต่ออัตราหนึ่งได้ หน้าเสิร์ช, เส้นทางการชำระเงิน, หน้าเข้าสู่ระบบ, และจุดสิ้นสุดของสินค้าคงคลังอาจต้องการการตั้งอัตราที่ช้ากว่า.
ตัวอย่างของประเภทเส้นทางที่เข้มงวดมากขึ้น:
/search/availability/cart/checkout/login- จุดสิ้นสุด API แบบไดนามิก
- หน้าแสดงผลที่เรนเดอร์ด้วย JavaScript
ขีดจำกัดต่อตัวตน
หากคุณใช้พร็อกซี, พร็อกซีหรือเซสชันแต่ละตัวควรมีขีดจำกัดของตัวเอง.
การสแครปเปอร์ที่ใช้ datacenter proxies, residential proxies, หรือเส้นทาง ISP ควรหลีกเลี่ยงการส่งข้อมูลมากเกินไปผ่านตัวตนเดียว.
ขีดจำกัดต่อตัวตนช่วยรักษาชื่อเสียงของพร็อกซีและลดการบล็อกที่เกิดขึ้นเป็นกลุ่ม.
โทเค็นบัคเก็ต vs. บัคเก็ตรั่ว vs. หน้าต่างคงที่
ประเภทการจำกัดที่แตกต่างกันทำงานได้ดีกว่าสำหรับภาระงานที่แตกต่างกัน.
| ประเภทการจำกัด | เหมาะสำหรับ | จุดแข็ง | จุดอ่อน | | | ---------------- | ------------------------- | ----------------------------------------------------- | ---------------------------------------------- | | โทเค็นบัคเก็ต | ท่อการสแครปส่วนใหญ่ | อนุญาตให้มีการระเบิดที่ควบคุมได้ในขณะที่บังคับใช้อัตราเฉลี่ย | อาจยังคงมีการพุ่งสูงหากตั้งค่าอย่างก้าวร้าวเกินไป | | บัคเก็ตรั่ว | การจราจรที่ราบรื่นและสม่ำเสมอ | ผลลัพธ์ที่คาดเดาได้มาก | อาจใช้ความจุต่ำในช่วงเวลาที่ปลอดภัย | | หน้าต่างคงที่ | สคริปต์ง่ายๆ และการทดลอง | ง่ายต่อการใช้งาน | อาจสร้างการพุ่งในขอบเขต | | หน้าต่างเลื่อน | การควบคุมอัตราที่แม่นยำมากขึ้น | ดีกว่าหน้าต่างคงที่ในเรื่องความยุติธรรม | ซับซ้อนกว่าหน่อย | | ตัวจำกัดที่ปรับได้ | การสแครปในผลิตภัณฑ์ | ตอบสนองต่อข้อเสนอแนะแบบสด | ต้องการเมตริกที่ดี |
สำหรับการสแครปส่วนใหญ่, โทเค็นบัคเก็ตบวกกับขีดจำกัดการทำงานพร้อมกันและการลดความเร็วที่ปรับได้เป็นจุดเริ่มต้นที่แข็งแกร่ง.
ขีดจำกัดเริ่มต้นสำหรับภาระงานที่แตกต่างกัน
ไม่มีอัตราที่ปลอดภัยทั่วไป เริ่มต้นอย่างระมัดระวังแล้วปรับแต่งด้วยเมตริก.
| ภาระงาน | จุดเริ่มต้นที่แนะนำ | | | ------------------------ | -------------------------------------------------- | | หน้า HTML สาธารณะแบบคงที่ | 1–2 RPS ต่อเอกลักษณ์, 2–4 การทำงานพร้อมกันต่อโดเมน | | หน้าเนื้อหาผลิตภัณฑ์ | 0.5–1 RPS ต่อเอกลักษณ์, 1–3 การทำงานพร้อมกันต่อโดเมน | | หน้าแสดงผลการค้นหา | 0.2–0.8 RPS ต่อเอกลักษณ์, ขีดจำกัดเส้นทางที่เข้มงวด | | หน้า JavaScript หนัก | 0.2–0.5 RPS ต่อเอกลักษณ์, 1–2 เซสชันเบราว์เซอร์ | | การเข้าสู่ระบบหรือการไหลของบัญชี | อัตราต่ำ, เซสชันติดแน่น/คงที่ | | การตรวจสอบ SEO ท้องถิ่น | อัตราต่ำถึงปานกลางตามสถานที่และเซสชัน | | การตรวจสอบอัตราค่าโดยสาร | อัตราต่ำ, เวลาพักนานขึ้น, ขีดจำกัดการลองที่เข้มงวด
นี่คือจุดเริ่มต้น ไม่ใช่การตั้งค่าถาวร อัตราที่เหมาะสมคืออัตราที่สร้างผลลัพธ์ที่ถูกต้องใน CPSR ที่ยอมรับได้
การจำกัดอัตราแบบปรับตัว
การจำกัดอัตราแบบปรับตัวจะเปลี่ยนจังหวะการร้องขอขึ้นอยู่กับสัญญาณสด
แทนที่จะใช้ค่าคงที่ตลอดไป โปรแกรมสแครปเปอร์จะติดตามเมตริกและปรับเปลี่ยน
สัญญาณที่มีประโยชน์รวมถึง:
- อัตรา 429
- อัตรา 403
- อัตรา CAPTCHA
- อัตราความท้าทาย
- ความหน่วง p95
- อัตราเวลาหมด
- ความลึกในการลองใหม่
- การอยู่รอดของเซสชัน
- อัตราบล็อกอ่อน
- อัตราเนื้อหาที่ถูกต้อง
ลูปปรับตัวที่ง่าย:
- เริ่มต้นด้วยขีดจำกัดที่ระมัดระวัง
- วัดผลลัพธ์ในช่วงเวลาที่กำหนด
- หากอัตราบล็อกเพิ่มขึ้น ให้ลด RPS และความพร้อมเพรียง
- หากความหน่วงเพิ่มขึ้น ให้ลดความพร้อมเพรียงก่อน
- หากการลองใหม่เพิ่มขึ้น ให้หยุดหรือทำให้เส้นทางที่ได้รับผลกระทบเย็นลง
- หากหลายช่วงเวลายังคงเสถียร ให้เพิ่ม RPS อย่างช้าๆ
- หยุดการเพิ่มเมื่อ CPSR แย่ลง
สิ่งนี้ช่วยให้โปรแกรมสแครปเปอร์ไม่ตอบสนองเกินไปต่อความล้มเหลวครั้งเดียว แต่ยังตอบสนองอย่างรวดเร็วต่อความขัดข้องที่แท้จริง
วิธีตอบสนองต่อข้อผิดพลาด 429
การตอบสนอง 429 Too Many Requests เป็นสัญญาณการจำกัดอัตราที่ชัดเจนที่สุด
เมื่อคุณเห็น 429:
- เคารพ
Retry-Afterheaders เมื่อมีอยู่ - หยุดการลองใหม่ทันที
- ลด RPS สำหรับตัวตนที่นั้น
- ลดความพร้อมเพรียงเฉพาะเส้นทาง
- เพิ่มการถอยแบบเอ็กซ์โพเนนเชียล
- เพิ่มการกระจาย
- ทำให้เส้นทางที่ได้รับผลกระทบเย็นลง
- ตรวจสอบว่า 429 กลุ่มตามโดเมน, IP, เส้นทาง หรือบัญชีหรือไม่
อย่าปฏิบัติต่อ 429 เป็นการลองใหม่ตามปกติ มันเป็นข้อเสนอแนะแนวทางว่าโปรแกรมสแครปเปอร์กำลังเคลื่อนที่เร็วเกินไปสำหรับเส้นทางหรือจุดสิ้นสุดนั้น
สำหรับการแก้ไขปัญหาที่กว้างขึ้น ดูที่ Common Proxy Errors and How to Fix Them.
วิธีตอบสนองต่อข้อผิดพลาด 403
ข้อผิดพลาด 403 อาจบ่งบอกถึงกฎการเข้าถึง, ชื่อเสียง IP, การตรวจจับบอท, สถานะเซสชันที่ขาดหายไป หรือแรงกดดันจากการจราจรที่มากเกินไป
เมื่อ 403 เพิ่มขึ้น:
- ลดความพร้อมเพรียง
- ตรวจสอบเนื้อหาของการตอบสนอง
- ตรวจสอบว่าเพจถูกบล็อกหรือบล็อกอ่อนหรือไม่
- ตรวจสอบ headers และ cookies
- เปรียบเทียบเส้นทางพร็อกซี
- ตรวจสอบความสอดคล้องของภูมิศาสตร์และท้องถิ่น
- ตรวจสอบว่าเส้นทางเป้าหมายได้รับอนุญาตหรือไม่
- หลีกเลี่ยงพายุการลองใหม่
หาก 403 ลดลงอย่างรวดเร็วหลังจากชะลอความเร็ว อัตราและความพร้อมเพรียงอาจเป็นปัจจัยที่มีส่วนร่วม
สำหรับคำแนะนำที่ลึกซึ้งยิ่งขึ้น ดูที่ Understanding 403 Errors in Scraping.
การจำกัดอัตราและการบล็อก Cloudflare
เว็บไซต์ที่ป้องกันโดย Cloudflare อาจใช้กฎ WAF, การจัดการบอท, การจำกัดอัตรา, นโยบายภูมิศาสตร์ และความท้าทายของเบราว์เซอร์ การจำกัดอัตราเป็นเพียงส่วนหนึ่งของการแก้ปัญหา แต่โดยทั่วไปแล้วเป็นสิ่งแรกที่ควรปรับปรุง
เมื่อการบล็อก Cloudflare เพิ่มขึ้น:
- จัดตารางงานให้กระจาย
- ลดอัตราการร้องขอต่อเส้นทาง
- เพิ่มการถอยหลังหลังจากความท้าทาย
- หลีกเลี่ยงการโจมตีโดยตรงไปยังเส้นทางที่ละเอียดอ่อน
- ใช้การแคชเมื่อเป็นไปได้
- รักษาเซสชันให้เสถียรเมื่อจำเป็น
- ตรวจสอบเนื้อหาที่ส่งกลับ
- เปรียบเทียบประเภทเส้นทางอย่างระมัดระวัง
อย่าพึ่งพาการเปลี่ยนพร็อกซีอย่างก้าวร้าวเพียงอย่างเดียว หากรูปแบบการร้องขอเป็นปัญหา การเปลี่ยน IP อาจไม่แก้ไขปัญหา
สำหรับรายละเอียดที่เกี่ยวข้อง ดูที่ Cloudflare Blocks Explained for Developers.
การกระจาย: ทำไมความสุ่มจึงช่วย
การตั้งเวลาที่แม่นยำของเครื่องสามารถตรวจจับได้ง่ายและอาจสร้างการพุ่งขึ้นที่ซิงโครไนซ์
การกระจายหมายถึงการเพิ่มความแปรปรวนแบบสุ่มเล็กน้อยในการตั้งเวลาการร้องขอ
ใช้การกระจายสำหรับ:
- ช่วงเวลาการร้องขอ
- ความล่าช้าในการลองใหม่
- การเริ่มต้นของคนงาน
- การตั้งเวลาเติมโทเค็น
- ช่วงเวลาตารางการเก็บข้อมูล
- การรอการกระทำของเบราว์เซอร์
ตัวอย่าง:
แทนที่จะส่งคำขอหนึ่งคำขอทุก ๆ วินาที ให้ส่งคำขอถัดไปหลังจากความล่าช้าแบบสุ่มระหว่าง 0.8 ถึง 1.2 วินาที
การกระจายควรอยู่ในระดับปานกลางและควบคุมได้ มันไม่ได้มีไว้เพื่อเลียนแบบพฤติกรรมของมนุษย์อย่างไม่ระมัดระวัง มันเพียงแค่ป้องกันรูปแบบการจราจรที่แหลมคมและซิงโครไนซ์
กลยุทธ์การถอย
การถอยคือวิธีที่โปรแกรมสแครปเปอร์ชะลอความเร็วลงหลังจากเกิดข้อผิดพลาด
กลยุทธ์การถอยที่ใช้งานได้จริง:
- ลองใหม่หนึ่งครั้งสำหรับข้อผิดพลาดเครือข่ายชั่วคราว
- ใช้การถอยแบบเอ็กซ์โพเนนเชียลสำหรับ 429 และ 5xx
- ใช้การหยุดทำงานที่ยาวนานขึ้นหลังจากหน้า CAPTCHA หรือความท้าทาย
- จำกัดจำนวนการลองใหม่ทั้งหมด
- หยุดการลองใหม่สำหรับ 403 ที่ซ้ำซากโดยไม่มีการวินิจฉัย
- ส่งเส้นทางที่ล้มเหลวอย่างรุนแรงไปยังการตรวจสอบ
ตัวอย่างตรรกะการถอย:
Attempt 1: wait 2 seconds
Attempt 2: wait 4 seconds
Attempt 3: wait 8 seconds
Then stop or queue for later review
เพิ่มการกระจายให้กับเวลารอทุกครั้ง
การลองซ้ำลึกมักจะเพิ่ม CPSR และอาจทำให้การบล็อกแย่ลง
การจำกัดอัตราที่รู้จักเซสชัน
การจำกัดอัตราที่รู้จักเซสชันจะติดตามไม่เพียงแต่โดเมน แต่ยังรวมถึงเซสชันด้วย
สิ่งนี้สำคัญสำหรับ:
- การเข้าสู่ระบบ
- ตะกร้า
- การทดสอบการชำระเงิน
- การเลือกสโตร์
- การแบ่งหน้า
- การตรวจสอบ SERP ท้องถิ่น
- การท่องเว็บที่ใช้ JavaScript หนัก
- การตรวจสอบตัวแปรผลิตภัณฑ์
หากเซสชันมีค่า อย่าทำให้มันเกินขีดจำกัด
ติดตาม:
- หน้าในแต่ละเซสชัน
- ระยะเวลาเซสชัน
- การบล็อกต่อเซสชัน
- ความลึกของการลองซ้ำต่อเซสชัน
- การอยู่รอดของเซสชัน
- การมอบหมายพร็อกซี
- สถานะคุกกี้
หากเซสชันล้มเหลวในช่วงต้น ให้ลดความเร็วต่อเซสชันและพิจารณาการใช้เซสชันมากขึ้นที่ความเร็วต่ำแทนการผลักดันเซสชันเดียวให้หนักเกินไป
สำหรับพฤติกรรมการจัดเส้นทาง ดูที่ Rotating vs Static Proxies.
กลยุทธ์พร็อกซีและการจำกัดอัตรา
ประเภทพร็อกซีมีผลต่อการกำหนดอัตราที่ปลอดภัย
พร็อกซีศูนย์ข้อมูลอาจรองรับความเร็วที่สูงขึ้นในหน้าเว็บสาธารณะที่ทนทาน แต่พวกเขาอาจเผชิญกับการบล็อกที่รุนแรงขึ้นในเว็บไซต์ที่มุ่งสู่ผู้บริโภค
พร็อกซีที่อยู่อาศัยอาจปรับปรุงการเข้าถึงและความแม่นยำทางภูมิศาสตร์ แต่ยังคงต้องมีการจำกัดอัตราอย่างระมัดระวัง
พร็อกซี ISP อาจทำงานได้ดีสำหรับเซสชันที่เกิดขึ้นซ้ำอย่างเสถียร
พร็อกซีมือถืออาจต้องการอัตราที่ต่ำกว่าด้วยเหตุผลด้านต้นทุน ความล่าช้า และพฤติกรรมของผู้ให้บริการ
กลยุทธ์ที่ดีจะจัดเส้นทางตามภาระงาน:
| ภาระงาน | เส้นทางพร็อกซี | กลยุทธ์อัตรา |
|---|---|---|
| หน้าเว็บสาธารณะคงที่ | ศูนย์ข้อมูล | RPS ปานกลาง ความเข้ากันได้สูงขึ้นหากทนได้ |
| หน้าโปรดักต์ | ศูนย์ข้อมูลก่อน, สำรองที่อยู่อาศัย | ขีดจำกัดต่อโดเมนที่ระมัดระวัง |
| SEO ท้องถิ่น | ที่อยู่อาศัย | เซสชันที่รับรู้ตำแหน่ง, การระเบิดที่ต่ำกว่า |
| การทำงานเข้าสู่ระบบ | เส้นทางคงที่หรือเหนียว | ความเร็วต่ำ, ความต่อเนื่องของเซสชันสูง |
| หน้าเว็บที่ไวต่อ Cloudflare | ที่อยู่อาศัยหรือไฮบริด | การถอยที่เข้มงวดและขีดจำกัดเส้นทาง |
| การทำงานอัตโนมัติของเบราว์เซอร์หนัก | ที่อยู่อาศัยหรือ ISP | ความเข้ากันได้น้อย, เวลาพักนานขึ้น |
สำหรับการเลือกประเภทพร็อกซี ดูที่ Datacenter vs Residential vs ISP Proxies Explained.
การบล็อกแบบนุ่มนวลและการจำกัดอัตรา
สคริปเตอร์สามารถถูกจำกัดอัตราโดยไม่ต้องได้รับ 429
การบล็อกแบบนุ่มนวลเกิดขึ้นเมื่อเซิร์ฟเวอร์ส่งคืน HTTP 200 แต่เนื้อหานั้นไม่ถูกต้องหรือไม่สมบูรณ์
ตัวอย่าง:
- ราคาสินค้าขาดหาย
- ผลลัพธ์ SERP ขาดหาย
- เทมเพลตหน้าเว็บทั่วไป
- หน้าภูมิภาคที่ผิด
- CAPTCHA ซ่อนอยู่ใน HTML
- ข้อมูลสินค้าคงคลังว่าง
- การตอบสนองที่ซ้ำกัน
- เนื้อหาที่ล้าสมัย
การจำกัดอัตราควรตอบสนองต่อการบล็อกแบบนุ่มนวลด้วย หากอัตราการบล็อกแบบนุ่มนวลเพิ่มขึ้น ให้ชะลอความเร็ว ตรวจสอบตัวอย่างการล้มเหลว และตรวจสอบว่าปัญหาเกิดจากเส้นทาง เซสชัน เส้นทาง หรือการเบี่ยงเบนของพาร์เซอร์
สิ่งที่ต้องวัด
การจำกัดอัตราควรปรับแต่งผ่านเมตริก ไม่ใช่การเดา
| เมตริก | ทำไมมันถึงสำคัญ | | | ---------------- | ------------------------------------------------------- | | | อัตราความสำเร็จ | แสดงผลลัพธ์ที่ถูกต้อง | | อัตราการบล็อก | จับหน้า 403, 429, CAPTCHA และหน้าแชลเลนจ์ | | อัตราบล็อกแบบนุ่ม | ตรวจจับเนื้อหาที่ไม่ถูกต้องที่ส่งคืนเป็นความสำเร็จ | | CPSR | วัดต้นทุนต่อผลลัพธ์ที่สำเร็จ | | ความลึกในการลองใหม่ | แสดงความไม่เสถียรที่ซ่อนอยู่ | | ความล่าช้า P95 | เปิดเผยความกดดันที่เป้าหมายหรือเส้นทาง | | อัตราการส่งข้อมูล | วัดจำนวนหน้าที่ถูกต้องต่อหนึ่งนาที | | ความอยู่รอดของเซสชัน | แสดงความเสถียรของการทำงานหลายขั้นตอน | | ความถูกต้องทางภูมิศาสตร์ | ยืนยันความถูกต้องที่เกี่ยวข้องกับสถานที่ | | ความล่าช้าในคิว | แสดงว่าขีดจำกัดเข้มงวดเกินไปสำหรับเป้าหมายความสดใหม่ |
วัดสิ่งเหล่านี้ตามโดเมน, ประเภทเส้นทาง, เส้นทางพร็อกซี, ภูมิภาค, และคนงานสแครปเปอร์ ค่าเฉลี่ยซ่อนปัญหา。
การควบคุมค่าใช้จ่าย: ปรับให้เหมาะสมสำหรับ CPSR ไม่ใช่ความเร็วดิบ
สแครปเปอร์อาจเก็บหน้ามากขึ้นต่อหนึ่งนาที แต่ยังคงมีค่าใช้จ่ายมากขึ้นหากมีการบล็อกและการลองใหม่เพิ่มขึ้น。
ใช้ CPSR เพื่อเปรียบเทียบการตั้งค่า。
ตัวอย่าง:
- การตั้งค่า A: 10,000 คำขอ, 70% ความสำเร็จ, การลองใหม่สูง
- การตั้งค่า B: 7,000 คำขอ, 95% ความสำเร็จ, การลองใหม่ต่ำ
การตั้งค่า B อาจผลิตข้อมูลที่ใช้งานได้มากขึ้นในต้นทุนที่ต่ำกว่าแม้ว่าจะส่งคำขอน้อยกว่าก็ตาม。
ขีดจำกัดอัตราที่ดีที่สุดมักจะต่ำกว่าขีดสูงสุดที่ระบบสามารถส่งได้ทางเทคนิค。
สถานการณ์จริง: เครื่องติดตามราคาสินค้า
ทีมติดตามราคารวบรวมราคาสินค้าจากโดเมนผู้ค้าปลีก 40 แห่ง。
การตั้งค่าเก่าเรียกใช้ทุกงานในช่วงต้นชั่วโมง บล็อกพุ่งสูงขึ้น การลองใหม่เพิ่มขึ้น และฟิลด์ราคาหายไป。
การตั้งค่าที่ปรับปรุง:
- จัดเรียงหน้าต่างการเก็บข้อมูล
- ใช้ขีดจำกัดต่อโดเมน
- ใช้ขีดจำกัดที่เข้มงวดมากขึ้นกับจุดสิ้นสุดการค้นหา
- ใช้พร็อกซีที่อยู่อาศัยสำหรับหน้าสินค้าที่ละเอียดอ่อน
- เพิ่มการกระจายและการถอยกลับแบบเอ็กซ์โพเนนเชียล
- ตรวจสอบราคา สกุลเงิน และความพร้อมใช้งานก่อนจัดเก็บข้อมูล
ผลลัพธ์คือบล็อกน้อยลง ข้อมูลที่สะอาดขึ้น และ CPSR ที่ต่ำลง。
สถานการณ์จริง: เครื่องรวมราคาตั๋วเดินทาง
แพลตฟอร์มการเดินทางรวบรวมข้อมูลราคาตั๋วและความพร้อมใช้งานจากหน้าเว็บที่มี JavaScript หนาแน่น。
การตั้งค่าเก่าเรียกใช้เซสชันเบราว์เซอร์มากเกินไปในครั้งเดียว ความล่าช้าเพิ่มขึ้น เวลาในการหมดอายุเพิ่มขึ้น และความอยู่รอดของเซสชันลดลง。
การตั้งค่าที่ปรับปรุง:
- จำกัดความพร้อมใช้งานของเบราว์เซอร์ต่อเอกลักษณ์
- เพิ่มเวลาพักหลังจาก 403s
- แยกหน้าแลนดิ้งสาธารณะออกจากหน้าผลลัพธ์แบบไดนามิก
- ใช้เซสชันที่ติดอยู่สำหรับการค้นหาแบบเต็ม
- ตรวจสอบความล่าช้า P95 และความลึกในการลองใหม่
การทำงานจะช้าลงต่อคำขอ แต่เร็วขึ้นต่อผลลัพธ์ที่ถูกต้อง。
สถานการณ์จริง: การติดตาม SEO ท้องถิ่น
ทีม SEO รวบรวม SERP ท้องถิ่นจากหลายร้อยสถานที่。
การตั้งค่าเก่าใช้ตารางเวลาและอัตราเดียวกันสำหรับทุกเมือง การตรวจสอบบางเมืองส่งคืนบล็อกหรือ SERP ที่ไม่ถูกต้องตามสถานที่。
การตั้งค่าที่ปรับปรุง:
- ใช้คิวที่เฉพาะเจาะจงตามสถานที่
- จำกัดคำขอต่อเมืองและเส้นทางพร็อกซี
- เพิ่มการกระจายไปยังตารางเวลา
- ตรวจสอบสัญญาณเมืองในแพ็คท้องถิ่น
- ชะลอการตลาดที่มีอัตราบล็อกสูงกว่า
รายงานจะเชื่อถือได้มากขึ้นเพราะระบบแยกการเคลื่อนไหวของอันดับออกจากความไม่เสถียรในการเก็บข้อมูล。
โหมดการล้มเหลวทั่วไป
การปรับขนาดอัตโนมัติแบบระเบิด
คนงานใหม่เริ่มพร้อมกันและทำให้โดเมนเป้าหมายล้นหลาม。
แก้ไข: จัดเรียงการเริ่มต้นของคนงานและรักษาสถานะของตัวจำกัดข้ามการปรับใช้。
ขีดจำกัดทั่วโลกเท่านั้น
ขีดจำกัดทั่วโลกอาจดูปลอดภัยในขณะที่พร็อกซีหรือเส้นทางหนึ่งมีภาระเกินกำลัง。
แก้ไข: ใช้ขีดจำกัดต่อโดเมน ต่อเส้นทาง และต่อเอกลักษณ์。
การมองข้ามความไวต่อเส้นทาง
จุดสิ้นสุดการค้นหา รถเข็น เข้าสู่ระบบ และความพร้อมใช้งานอาจต้องการขีดจำกัดที่เข้มงวดกว่าหน้าสินค้า。
แก้ไข: จำแนกเส้นทางและกำหนดตัวจำกัดแยกต่างหาก。
การเพิ่มขึ้นอย่างรวดเร็ว
การเพิ่ม RPS อย่างรวดเร็วเกินไปหลังจากหน้าต่างที่เสถียรหนึ่งสามารถสร้างการแกว่งไปมา。
แก้ไข: เพิ่มขึ้นอย่างช้าๆ และต้องการหน้าต่างที่เสถียรหลายหน้าต่าง。
การลองใหม่แบบตาบอด
การลองใหม่โดยไม่มีการถอยกลับเพิ่มความกดดันและค่าใช้จ่าย。
แก้ไข: จำกัดการลองใหม่และจำแนกข้อผิดพลาด。
การมองข้ามความล่าช้า
ความล่าช้า p95 ที่เพิ่มขึ้นมักจะปรากฏก่อนที่จะมีการบล็อก
การแก้ไข: ลดความพร้อมเพรียงเมื่อความล่าช้าเพิ่มขึ้น
รายการตรวจสอบการดำเนินการ
ก่อนการเปิดตัวในผลิตภัณฑ์:
- กำหนดขีดจำกัดต่อโดเมน
- กำหนดขีดจำกัดต่อเส้นทาง
- กำหนดขีดจำกัดต่อเอกลักษณ์
- ใช้ token bucket หรือ adaptive limiter
- เพิ่มขีดจำกัดความพร้อมเพรียง
- เพิ่ม jitter ในตารางเวลาและการลองใหม่
- เคารพ Retry-After headers
- เพิ่ม exponential backoff
- จำกัดความลึกในการลองใหม่
- ติดตามอัตราความสำเร็จและอัตราการบล็อก
- ติดตามการบล็อกแบบอ่อน
- ติดตาม CPSR
- เก็บตัวอย่างความล้มเหลว
- ปรับขีดจำกัดตามเส้นทางและภาระงาน
- ตรวจสอบความสอดคล้องและกฎการเข้าถึง
สำหรับรูปแบบการตั้งค่า ดูที่ คู่มือการใช้งานพร็อกซี่ ของ SquidProxies และ กรณีการใช้งานพร็อกซี่ที่กว้างขึ้น.
คำถามที่พบบ่อย
การจำกัดอัตราในกระบวนการเก็บข้อมูลคืออะไร?
การจำกัดอัตราควบคุมความเร็วที่ scraper ส่งคำขอและจำนวนคำขอที่ทำงานพร้อมกัน มันช่วยลดการบล็อก, การหมดเวลา, การลองใหม่, และความกดดันต่อเว็บไซต์เป้าหมาย
อัตราการเก็บข้อมูลที่ปลอดภัยคืออะไร?
ไม่มีอัตราที่ปลอดภัยแบบสากล เริ่มต้นอย่างระมัดระวัง, ตรวจสอบอัตราการบล็อกและความล่าช้า, แล้วค่อยๆ เพิ่มขึ้น อาจจะมีหน้าเว็บสถิติเพิ่มความทนทานต่ออัตราที่สูงกว่าหน้าเว็บที่มี JavaScript หนาแน่น, การเข้าสู่ระบบ, รถเข็น, หรือการค้นหา
ควรจำกัดตาม IP หรือโดเมน?
ทั้งสองอย่าง ใช้ขีดจำกัดต่อโดเมนเพื่อควบคุมการจราจรทั้งหมดไปยังไซต์และขีดจำกัดต่อเอกลักษณ์เพื่อหลีกเลี่ยงการใช้พร็อกซี่, เซสชัน, หรือบัญชีเดียวมากเกินไป
ควรทำอย่างไรหลังจากได้รับข้อผิดพลาด 429?
ชะลอความเร็ว เคารพ Retry-After headers, ลด RPS, เพิ่ม backoff, และหลีกเลี่ยงการลองใหม่ทันที
การเพิ่มพร็อกซี่มากขึ้นจะแก้ไขการจำกัดอัตราได้หรือไม่?
ไม่เสมอไป พร็อกซี่มากขึ้นสามารถกระจายการจราจรได้ แต่ถ้าเป้าหมายมีการจำกัดระดับเส้นทางหรือพฤติกรรม การทำงานยังคงต้องการการควบคุมที่ดีกว่า
token bucket เหมาะสำหรับ scraper หรือไม่?
ใช่ token bucket เป็นค่าเริ่มต้นที่แข็งแกร่งเพราะมันควบคุมอัตราคำขอเฉลี่ยในขณะที่อนุญาตให้มีการระเบิดที่จำกัด จับคู่กับขีดจำกัดความพร้อมเพรียงและ backoff
การจำกัดอัตราลด CPSR ได้อย่างไร?
การควบคุมที่ดีกว่าช่วยลดการบล็อกและการลองใหม่ การลองใหม่ที่น้อยลงหมายถึงการใช้จ่ายพร็อกซี่ที่น้อยลง, การสูญเสียการคำนวณที่น้อยลง, และผลลัพธ์ที่ถูกต้องมากขึ้นต่อดอลลาร์
ฉันควรปรับขีดจำกัดสำหรับการทำงานอัตโนมัติของเบราว์เซอร์อย่างไร?
ใช้ความพร้อมเพรียงที่ต่ำกว่า, เวลาในการหมดอายุที่ยาวนานขึ้น, เซสชันที่ติดแน่น, และการกลับไปที่เข้มงวดกว่า เซสชันของเบราว์เซอร์มีน้ำหนักมากกว่าและไวต่อการร้องขอ HTTP ที่ง่ายกว่า
ฉันควรติดตามเมตริกอะไรบ้าง?
ติดตามอัตราความสำเร็จ, อัตราการบล็อก, อัตราการบล็อกแบบอ่อน, CPSR, ความลึกในการลองใหม่, ความล่าช้า p95, อัตราการส่งข้อมูล, การอยู่รอดของเซสชัน, ความถูกต้องทางภูมิศาสตร์, และความล่าช้าในคิว
ข้อคิดสุดท้าย
แนวทางปฏิบัติที่ดีที่สุดในการจำกัดอัตราสำหรับ scraper เกี่ยวกับการควบคุม, ข้อมูลย้อนกลับ, และการวัดผล ตัวเลขที่ตายตัวสามารถทำงานได้สำหรับการทดลองขนาดเล็ก แต่ระบบการผลิตต้องการขีดจำกัดที่ปรับตัวได้ซึ่งตอบสนองต่อการบล็อก, ความล่าช้า, การลองใหม่, และคุณภาพข้อมูล
เริ่มต้นอย่างระมัดระวัง จำกัดตามโดเมน, เส้นทาง, และเอกลักษณ์ เพิ่ม jitter และ backoff เคารพสัญญาณการจำกัดอัตรา ติดตาม CPSR ไม่ใช่แค่จำนวนคำขอ เพิ่มความเร็วเฉพาะหลังจากที่มีหน้าต่างประสิทธิภาพที่เสถียร
scraper ที่ดีที่สุดไม่ใช่คนที่ส่งคำขอมากที่สุด แต่เป็นคนที่ส่งคืนข้อมูลที่ถูกต้องมากที่สุดในต้นทุนที่ยั่งยืนต่ำที่สุด。


