การหมุน IP คือการส่งคำขอออกผ่านกลุ่มที่อยู่ IP และ เปลี่ยนที่อยู่ IP ต้นทาง ตามกฎที่กำหนด เช่น สำหรับแต่ละคำขอ แต่ละเซสชัน หรือในช่วงเวลาที่กำหนด การกระจายการจราจรในลักษณะนี้ช่วยให้ปริมาณคำขอของแต่ละ IP ต่ำลง ดังนั้นการจำกัดอัตราและการแบนต่อ IP จะส่งผลกระทบต่อการทำงานน้อยลง

การหมุน IP เป็นเทคนิคหนึ่ง โดย พร็อกซีหมุน เป็นบริการที่ทำให้คุณโดยมีที่อยู่เกตเวย์เดียว แต่คุณยังสามารถหมุน IP ในโค้ดของคุณเองได้ การเชื่อมต่อที่บ้านที่มี IP แบบไดนามิกสามารถเปลี่ยนที่อยู่ได้เช่นกัน แต่ตามตารางเวลาของเครือข่าย ไม่ใช่ของคุณ

วิธีการทำงานของการหมุน IP

  1. รับกลุ่ม: รายการของ IP พร็อกซี หรือเกตเวย์ที่อยู่หน้าของ กลุ่มพร็อกซี ของผู้ให้บริการ
  2. เลือก IP ตามกฎ: เลือกที่อยู่สำหรับคำขอหรือเซสชันถัดไป
  3. ส่งคำขอผ่านมัน: เว็บไซต์เป้าหมายจะเห็นเฉพาะ IP ที่เลือก
  4. พักหรือหยุด IP ที่ล้มเหลว: นำ IP ออกเมื่อเริ่มได้รับการตอบกลับที่ถูกบล็อก เช่น 403 หรือ 429

กฎการหมุน

  • ต่อคำขอ: IP ใหม่สำหรับแต่ละคำขอ การเชื่อมต่อที่นำกลับมาใช้ใหม่สามารถรักษา IP เดิมได้ ตามที่อธิบายไว้ในพร็อกซีหมุน
  • ตามเวลา: IP จะเปลี่ยนที่ช่วงเวลาที่กำหนด เช่น ทุกๆ ไม่กี่นาที
  • ต่อเซสชัน (ติดแน่น): IP หนึ่งจะถูกเก็บไว้สำหรับเซสชันและจากนั้นจะถูกแทนที่ ดู เซสชันติดแน่น.
  • เมื่อมีความล้มเหลว: IP จะเปลี่ยนเฉพาะหลังจากได้รับการตอบกลับที่ถูกบล็อกหรือจำกัดอัตรา
  • ตามลำดับ: round-robin ใช้ IP แต่ละตัวตามลำดับ; การเลือกแบบสุ่มเลือก IP ที่มีอยู่ใดๆ

วิธีการหมุน IP

เกตเวย์พร็อกซีหมุนการหมุนในโค้ดของคุณเองการเปลี่ยนเซิร์ฟเวอร์ VPN
ใครเลือก IPเกตเวย์ของผู้ให้บริการสคริปต์ของคุณ จากรายการพร็อกซีคุณหรือแอป VPN
วิธีการเชื่อมต่อโฮสต์และพอร์ตเดียวพร็อกซีที่แตกต่างกันต่อคำขอหรือเซสชันอุโมงค์เดียวสำหรับอุปกรณ์ทั้งหมด
IP ที่แตกต่างกันพร้อมกันใช่ ต่อการเชื่อมต่อหรือเซสชันใช่ ต่อคำขอไม่ หนึ่งเซิร์ฟเวอร์ต่อการเชื่อมต่อ

ในโค้ด การหมุนหมายถึงการตั้งค่าพร็อกซีในแต่ละคำขอ Scrapy ตัวอย่างเช่น อ่านจาก request.meta['proxy'] สำหรับความแตกต่างระหว่าง VPN กับพร็อกซี ดู VPN vs. proxy.

การหมุนภายในซับเน็ตเดียวไม่ใช่การหมุนจริง

เว็บไซต์ไม่ได้คำนวณเฉพาะที่อยู่เดียว ดังนั้นกลุ่มที่อยู่ IP ที่อยู่ใกล้เคียงสามารถทำหน้าที่เหมือน IP เดียว:

  • ช่วง: คำสั่ง deny ของ nginx ยอมรับช่วง CIDR ดังนั้นกฎหนึ่งสามารถบล็อก ซับเน็ต ทั้งหมด เช่น ที่อยู่ 256 ตัวใน /24
  • เครือข่าย: กฎการจำกัดอัตราของ Cloudflare สามารถนับคำขอตามหมายเลข AS ดังนั้น IP ทุกตัวจากเครือข่ายเดียวกันจะเพิ่มไปยังเคาน์เตอร์เดียว ดู ASN.
  • พรีฟิก IPv6: RFC 6177 ระบุว่าไซต์ปลายทางควรได้รับอย่างน้อยหนึ่ง /64 และในหลายกรณีมากกว่านั้น ไซต์สามารถถือว่าพรีฟิกทั้งหมดเป็นผู้ใช้คนเดียว ดังนั้นการหมุนที่อยู่ภายในจึงเปลี่ยนแปลงน้อย

สิ่งที่สำคัญคือจำนวนช่วงและเครือข่ายที่แตกต่างกันที่กลุ่มครอบคลุม ไม่ใช่แค่จำนวน IP ที่ถืออยู่

ความหมายสำหรับการขูดเว็บ

  • การหมุนไม่แทนที่การควบคุมความเร็ว: เมื่อไซต์ตอบกลับ 429 ให้รอเวลาตาม Retry-After header แทนที่จะลองใหม่ทันทีจาก IP ใหม่
  • คุกกี้สามารถอยู่ได้นานกว่าที่อยู่ IP: ตัวเลือก "IP ที่สนับสนุน NAT" ของ Cloudflare สามารถระบุผู้เข้าชมโดยคุกกี้เซสชัน (_cfuvid) ดังนั้น IP ใหม่ที่มีขวดคุกกี้เดียวกันอาจยังคงถือเป็นผู้เข้าชมคนเดียวกัน
  • จับคู่กฎกับงาน: หมุนต่อคำขอสำหรับหน้าอิสระและถือ IP หนึ่งสำหรับการเข้าสู่ระบบและการชำระเงิน

ทำไมการหมุนเพียงอย่างเดียวจึงไม่เพียงพอ

IP ใหม่ไม่ได้เปลี่ยนแปลงทุกอย่างที่เว็บไซต์สามารถมองเห็นได้ เว็บไซต์สามารถเชื่อมโยงคำขอผ่าน ลายนิ้วมือของเบราว์เซอร์ ที่สร้างจากสัญญาณต่าง ๆ เช่น หัวข้อ User-Agent ขนาดหน้าต่าง ฟอนต์ที่ติดตั้ง และวิธีการเรนเดอร์กราฟิก ลายนิ้วมือสามารถระบุผู้ใช้ได้แม้ว่าจะซ่อน IP หรือบล็อกคุกกี้ก็ตาม。

คำที่เกี่ยวข้อง