การหมุน IP คือการส่งคำขอออกผ่านกลุ่มที่อยู่ IP และ เปลี่ยนที่อยู่ IP ต้นทาง ตามกฎที่กำหนด เช่น สำหรับแต่ละคำขอ แต่ละเซสชัน หรือในช่วงเวลาที่กำหนด การกระจายการจราจรในลักษณะนี้ช่วยให้ปริมาณคำขอของแต่ละ IP ต่ำลง ดังนั้นการจำกัดอัตราและการแบนต่อ IP จะส่งผลกระทบต่อการทำงานน้อยลง
การหมุน IP เป็นเทคนิคหนึ่ง โดย พร็อกซีหมุน เป็นบริการที่ทำให้คุณโดยมีที่อยู่เกตเวย์เดียว แต่คุณยังสามารถหมุน IP ในโค้ดของคุณเองได้ การเชื่อมต่อที่บ้านที่มี IP แบบไดนามิกสามารถเปลี่ยนที่อยู่ได้เช่นกัน แต่ตามตารางเวลาของเครือข่าย ไม่ใช่ของคุณ
วิธีการทำงานของการหมุน IP
- รับกลุ่ม: รายการของ IP พร็อกซี หรือเกตเวย์ที่อยู่หน้าของ กลุ่มพร็อกซี ของผู้ให้บริการ
- เลือก IP ตามกฎ: เลือกที่อยู่สำหรับคำขอหรือเซสชันถัดไป
- ส่งคำขอผ่านมัน: เว็บไซต์เป้าหมายจะเห็นเฉพาะ IP ที่เลือก
- พักหรือหยุด IP ที่ล้มเหลว: นำ IP ออกเมื่อเริ่มได้รับการตอบกลับที่ถูกบล็อก เช่น 403 หรือ 429
กฎการหมุน
- ต่อคำขอ: IP ใหม่สำหรับแต่ละคำขอ การเชื่อมต่อที่นำกลับมาใช้ใหม่สามารถรักษา IP เดิมได้ ตามที่อธิบายไว้ในพร็อกซีหมุน
- ตามเวลา: IP จะเปลี่ยนที่ช่วงเวลาที่กำหนด เช่น ทุกๆ ไม่กี่นาที
- ต่อเซสชัน (ติดแน่น): IP หนึ่งจะถูกเก็บไว้สำหรับเซสชันและจากนั้นจะถูกแทนที่ ดู เซสชันติดแน่น.
- เมื่อมีความล้มเหลว: IP จะเปลี่ยนเฉพาะหลังจากได้รับการตอบกลับที่ถูกบล็อกหรือจำกัดอัตรา
- ตามลำดับ: round-robin ใช้ IP แต่ละตัวตามลำดับ; การเลือกแบบสุ่มเลือก IP ที่มีอยู่ใดๆ
วิธีการหมุน IP
| เกตเวย์พร็อกซีหมุน | การหมุนในโค้ดของคุณเอง | การเปลี่ยนเซิร์ฟเวอร์ VPN | |
|---|---|---|---|
| ใครเลือก IP | เกตเวย์ของผู้ให้บริการ | สคริปต์ของคุณ จากรายการพร็อกซี | คุณหรือแอป VPN |
| วิธีการเชื่อมต่อ | โฮสต์และพอร์ตเดียว | พร็อกซีที่แตกต่างกันต่อคำขอหรือเซสชัน | อุโมงค์เดียวสำหรับอุปกรณ์ทั้งหมด |
| IP ที่แตกต่างกันพร้อมกัน | ใช่ ต่อการเชื่อมต่อหรือเซสชัน | ใช่ ต่อคำขอ | ไม่ หนึ่งเซิร์ฟเวอร์ต่อการเชื่อมต่อ |
ในโค้ด การหมุนหมายถึงการตั้งค่าพร็อกซีในแต่ละคำขอ Scrapy ตัวอย่างเช่น อ่านจาก request.meta['proxy'] สำหรับความแตกต่างระหว่าง VPN กับพร็อกซี ดู VPN vs. proxy.
การหมุนภายในซับเน็ตเดียวไม่ใช่การหมุนจริง
เว็บไซต์ไม่ได้คำนวณเฉพาะที่อยู่เดียว ดังนั้นกลุ่มที่อยู่ IP ที่อยู่ใกล้เคียงสามารถทำหน้าที่เหมือน IP เดียว:
- ช่วง: คำสั่ง
denyของ nginx ยอมรับช่วง CIDR ดังนั้นกฎหนึ่งสามารถบล็อก ซับเน็ต ทั้งหมด เช่น ที่อยู่ 256 ตัวใน /24 - เครือข่าย: กฎการจำกัดอัตราของ Cloudflare สามารถนับคำขอตามหมายเลข AS ดังนั้น IP ทุกตัวจากเครือข่ายเดียวกันจะเพิ่มไปยังเคาน์เตอร์เดียว ดู ASN.
- พรีฟิก IPv6: RFC 6177 ระบุว่าไซต์ปลายทางควรได้รับอย่างน้อยหนึ่ง /64 และในหลายกรณีมากกว่านั้น ไซต์สามารถถือว่าพรีฟิกทั้งหมดเป็นผู้ใช้คนเดียว ดังนั้นการหมุนที่อยู่ภายในจึงเปลี่ยนแปลงน้อย
สิ่งที่สำคัญคือจำนวนช่วงและเครือข่ายที่แตกต่างกันที่กลุ่มครอบคลุม ไม่ใช่แค่จำนวน IP ที่ถืออยู่
ความหมายสำหรับการขูดเว็บ
- การหมุนไม่แทนที่การควบคุมความเร็ว: เมื่อไซต์ตอบกลับ 429 ให้รอเวลาตาม Retry-After header แทนที่จะลองใหม่ทันทีจาก IP ใหม่
- คุกกี้สามารถอยู่ได้นานกว่าที่อยู่ IP: ตัวเลือก "IP ที่สนับสนุน NAT" ของ Cloudflare สามารถระบุผู้เข้าชมโดยคุกกี้เซสชัน (
_cfuvid) ดังนั้น IP ใหม่ที่มีขวดคุกกี้เดียวกันอาจยังคงถือเป็นผู้เข้าชมคนเดียวกัน - จับคู่กฎกับงาน: หมุนต่อคำขอสำหรับหน้าอิสระและถือ IP หนึ่งสำหรับการเข้าสู่ระบบและการชำระเงิน
ทำไมการหมุนเพียงอย่างเดียวจึงไม่เพียงพอ
IP ใหม่ไม่ได้เปลี่ยนแปลงทุกอย่างที่เว็บไซต์สามารถมองเห็นได้ เว็บไซต์สามารถเชื่อมโยงคำขอผ่าน ลายนิ้วมือของเบราว์เซอร์ ที่สร้างจากสัญญาณต่าง ๆ เช่น หัวข้อ User-Agent ขนาดหน้าต่าง ฟอนต์ที่ติดตั้ง และวิธีการเรนเดอร์กราฟิก ลายนิ้วมือสามารถระบุผู้ใช้ได้แม้ว่าจะซ่อน IP หรือบล็อกคุกกี้ก็ตาม。