การควบคุมการร้องขอ (Request throttling) คือการปฏิบัติที่ตั้งใจชะลออัตราที่โปรแกรมขูดข้อมูล (scraper) ส่งคำร้องขอ โดยการเพิ่มความล่าช้าระหว่างคำร้องขอ เพื่อหลีกเลี่ยงการทำให้เซิร์ฟเวอร์ของเว็บไซต์เป้าหมายทำงานหนักเกินไป
คำนี้ยังใช้ในด้านเซิร์ฟเวอร์ด้วย ไมโครซอฟท์อธิบายว่าการควบคุมการร้องขอเป็นเทคนิคที่ API บนคลาวด์ใช้เพื่อจำกัดจำนวนคำร้องขอที่สามารถทำได้ในช่วงเวลาหนึ่ง เพื่อให้ API ยังคงสามารถใช้งานได้สำหรับผู้ใช้ทุกคน ไม่ว่าจะด้วยวิธีใด เป้าหมายก็เหมือนกัน: รักษาการจราจรให้เป็นไปในอัตราที่เซิร์ฟเวอร์สามารถจัดการได้
การควบคุมการร้องขอกับการจำกัดอัตรา
| การควบคุมการร้องขอ | การจำกัดอัตรา | |
|---|---|---|
| แนวคิดหลัก | ควบคุมอัตราของคำร้องขอ | จำกัดจำนวนคำร้องขอในช่วงเวลาหนึ่ง |
| คำร้องขอเกิน | มักจะถูกเลื่อนหรือกระจายออก | มักจะถูกปฏิเสธ |
| ใครใช้ | ลูกค้า เซิร์ฟเวอร์ หรือทั้งสองอย่าง | มักจะเป็นเซิร์ฟเวอร์ |
| สัญญาณทั่วไป | การตอบสนองที่ช้าลง หรือ 429 พร้อมกับ Retry-After | 429 Too Many Requests |
สองคำนี้มีความทับซ้อนกันในทางปฏิบัติ ตัวอย่างเช่น AWS อธิบายว่าคำร้องขอที่ถูกควบคุมเกินขีดจำกัดจะถูกปฏิเสธด้วยข้อผิดพลาด 429 Too Many Requests ดู การจำกัดอัตรา ว่าเซิร์ฟเวอร์นับคำร้องขออย่างไร
วิธีที่เซิร์ฟเวอร์ควบคุมการร้องขอ
- Token bucket: AWS แนะนำอัลกอริธึมนี้ ซึ่งคำร้องขอแต่ละคำจะใช้โทเค็นและโทเค็นจะเติมกลับที่อัตราที่กำหนดต่อวินาที
- รหัสสถานะ: สัญญาณที่พบบ่อยที่สุดคือ
429 Too Many Requestsไมโครซอฟท์ชี้ให้เห็นว่าไม่ใช่ทุก API ที่ใช้มัน: GitHub อาจตอบกลับด้วย403. - เวลารอ: API บางตัวเพิ่ม Retry-After header ที่บอกว่าต้องรอนานแค่ไหนก่อนที่จะส่งคำร้องขอถัดไป
วิธีที่โปรแกรมขูดข้อมูลควบคุมการร้องขอของตนเอง
- ความล่าช้าคงที่: การหยุดพักที่ตั้งไว้ระหว่างคำร้องขอไปยังเว็บไซต์เดียวกัน
- ความล่าช้าสุ่ม: การตั้งค่า
DOWNLOAD_DELAY_JITTERของ Scrapy เพิ่มความแปรปรวนแบบสุ่มให้กับความล่าช้าแต่ละครั้ง เพื่อให้คำร้องขอไม่มาถึงในจังหวะที่แน่นอน - ความล่าช้าแบบปรับตัว: ส่วนขยาย AutoThrottle ของ Scrapy ปรับตัวเข้ากับการตอบสนองของเว็บไซต์ มันตั้งค่าความล่าช้าเป้าหมายให้เป็นความล่าช้าของเซิร์ฟเวอร์หารด้วยความสามารถในการทำงานเป้าหมาย และไม่เร่งความเร็วเมื่อมีการตอบสนองที่ผิดพลาด
- การจำกัดความสามารถในการทำงาน: การเชื่อมต่อ พร้อมกัน ที่น้อยลงไปยังเว็บไซต์หนึ่งจะช่วยลดอัตราการร้องขอด้วยเช่นกัน
การลองใหม่สามารถทำให้การควบคุมการร้องขอล้มเหลว
โปรแกรมขูดข้อมูลสามารถควบคุมคำร้องขอแรกได้ดีและยังคงทำให้เว็บไซต์ถูกน้ำท่วมด้วยการลองใหม่ บทความใน Amazon Builders' Library เตือนว่าหากระบบมีภาระเกินไป การลองใหม่อาจทำให้ภาระหนักขึ้นแทนที่จะดีขึ้น มันให้ตัวอย่างที่ชั้นแต่ละชั้นที่ลองใหม่อย่างอิสระเพิ่มภาระบนฐานข้อมูล 243 เท่า
บทความเดียวกันนี้ระบุวิธีแก้ไข:
- ถอยกลับอย่างทวีคูณ: เพิ่มเวลารอหลังจากความพยายามที่ล้มเหลวแต่ละครั้ง
- เพิ่มความแปรปรวน: เพิ่มความสุ่มให้กับเวลารอแต่ละครั้ง เพื่อให้การลองใหม่กระจายออกในเวลาแทนที่จะมาถึงพร้อมกัน
- จำกัดมัน: ตั้งเวลารอสูงสุดและจำนวนการลองสูงสุด
ความหมายสำหรับการขูดข้อมูลเว็บ
- ควบคุมต่อเว็บไซต์ ไม่ใช่ต่อการทำงาน: ขีดจำกัดจะใช้กับแต่ละเป้าหมาย ดังนั้นให้ควบคุมคำร้องขอไปยังแต่ละโดเมนแยกกัน
- ถือว่า 429 เป็นการหยุดพัก: รอเวลาตาม Retry-After หรือถอยกลับด้วยความแปรปรวนเมื่อไม่มี
- IP ใหม่ไม่แทนที่การควบคุม: การเปลี่ยน IP หลังจาก 429 จะไม่ช่วยหากเว็บไซต์ยังนับตามคุกกี้ บัญชี หรือลายนิ้วมือ