การควบคุมการร้องขอ (Request throttling) คือการปฏิบัติที่ตั้งใจชะลออัตราที่โปรแกรมขูดข้อมูล (scraper) ส่งคำร้องขอ โดยการเพิ่มความล่าช้าระหว่างคำร้องขอ เพื่อหลีกเลี่ยงการทำให้เซิร์ฟเวอร์ของเว็บไซต์เป้าหมายทำงานหนักเกินไป

คำนี้ยังใช้ในด้านเซิร์ฟเวอร์ด้วย ไมโครซอฟท์อธิบายว่าการควบคุมการร้องขอเป็นเทคนิคที่ API บนคลาวด์ใช้เพื่อจำกัดจำนวนคำร้องขอที่สามารถทำได้ในช่วงเวลาหนึ่ง เพื่อให้ API ยังคงสามารถใช้งานได้สำหรับผู้ใช้ทุกคน ไม่ว่าจะด้วยวิธีใด เป้าหมายก็เหมือนกัน: รักษาการจราจรให้เป็นไปในอัตราที่เซิร์ฟเวอร์สามารถจัดการได้

การควบคุมการร้องขอกับการจำกัดอัตรา

การควบคุมการร้องขอการจำกัดอัตรา
แนวคิดหลักควบคุมอัตราของคำร้องขอจำกัดจำนวนคำร้องขอในช่วงเวลาหนึ่ง
คำร้องขอเกินมักจะถูกเลื่อนหรือกระจายออกมักจะถูกปฏิเสธ
ใครใช้ลูกค้า เซิร์ฟเวอร์ หรือทั้งสองอย่างมักจะเป็นเซิร์ฟเวอร์
สัญญาณทั่วไปการตอบสนองที่ช้าลง หรือ 429 พร้อมกับ Retry-After429 Too Many Requests

สองคำนี้มีความทับซ้อนกันในทางปฏิบัติ ตัวอย่างเช่น AWS อธิบายว่าคำร้องขอที่ถูกควบคุมเกินขีดจำกัดจะถูกปฏิเสธด้วยข้อผิดพลาด 429 Too Many Requests ดู การจำกัดอัตรา ว่าเซิร์ฟเวอร์นับคำร้องขออย่างไร

วิธีที่เซิร์ฟเวอร์ควบคุมการร้องขอ

  • Token bucket: AWS แนะนำอัลกอริธึมนี้ ซึ่งคำร้องขอแต่ละคำจะใช้โทเค็นและโทเค็นจะเติมกลับที่อัตราที่กำหนดต่อวินาที
  • รหัสสถานะ: สัญญาณที่พบบ่อยที่สุดคือ 429 Too Many Requests ไมโครซอฟท์ชี้ให้เห็นว่าไม่ใช่ทุก API ที่ใช้มัน: GitHub อาจตอบกลับด้วย 403.
  • เวลารอ: API บางตัวเพิ่ม Retry-After header ที่บอกว่าต้องรอนานแค่ไหนก่อนที่จะส่งคำร้องขอถัดไป

วิธีที่โปรแกรมขูดข้อมูลควบคุมการร้องขอของตนเอง

  • ความล่าช้าคงที่: การหยุดพักที่ตั้งไว้ระหว่างคำร้องขอไปยังเว็บไซต์เดียวกัน
  • ความล่าช้าสุ่ม: การตั้งค่า DOWNLOAD_DELAY_JITTER ของ Scrapy เพิ่มความแปรปรวนแบบสุ่มให้กับความล่าช้าแต่ละครั้ง เพื่อให้คำร้องขอไม่มาถึงในจังหวะที่แน่นอน
  • ความล่าช้าแบบปรับตัว: ส่วนขยาย AutoThrottle ของ Scrapy ปรับตัวเข้ากับการตอบสนองของเว็บไซต์ มันตั้งค่าความล่าช้าเป้าหมายให้เป็นความล่าช้าของเซิร์ฟเวอร์หารด้วยความสามารถในการทำงานเป้าหมาย และไม่เร่งความเร็วเมื่อมีการตอบสนองที่ผิดพลาด
  • การจำกัดความสามารถในการทำงาน: การเชื่อมต่อ พร้อมกัน ที่น้อยลงไปยังเว็บไซต์หนึ่งจะช่วยลดอัตราการร้องขอด้วยเช่นกัน

การลองใหม่สามารถทำให้การควบคุมการร้องขอล้มเหลว

โปรแกรมขูดข้อมูลสามารถควบคุมคำร้องขอแรกได้ดีและยังคงทำให้เว็บไซต์ถูกน้ำท่วมด้วยการลองใหม่ บทความใน Amazon Builders' Library เตือนว่าหากระบบมีภาระเกินไป การลองใหม่อาจทำให้ภาระหนักขึ้นแทนที่จะดีขึ้น มันให้ตัวอย่างที่ชั้นแต่ละชั้นที่ลองใหม่อย่างอิสระเพิ่มภาระบนฐานข้อมูล 243 เท่า

บทความเดียวกันนี้ระบุวิธีแก้ไข:

  1. ถอยกลับอย่างทวีคูณ: เพิ่มเวลารอหลังจากความพยายามที่ล้มเหลวแต่ละครั้ง
  2. เพิ่มความแปรปรวน: เพิ่มความสุ่มให้กับเวลารอแต่ละครั้ง เพื่อให้การลองใหม่กระจายออกในเวลาแทนที่จะมาถึงพร้อมกัน
  3. จำกัดมัน: ตั้งเวลารอสูงสุดและจำนวนการลองสูงสุด

ความหมายสำหรับการขูดข้อมูลเว็บ

  • ควบคุมต่อเว็บไซต์ ไม่ใช่ต่อการทำงาน: ขีดจำกัดจะใช้กับแต่ละเป้าหมาย ดังนั้นให้ควบคุมคำร้องขอไปยังแต่ละโดเมนแยกกัน
  • ถือว่า 429 เป็นการหยุดพัก: รอเวลาตาม Retry-After หรือถอยกลับด้วยความแปรปรวนเมื่อไม่มี
  • IP ใหม่ไม่แทนที่การควบคุม: การเปลี่ยน IP หลังจาก 429 จะไม่ช่วยหากเว็บไซต์ยังนับตามคุกกี้ บัญชี หรือลายนิ้วมือ

คำศัพท์ที่เกี่ยวข้อง