Quay vòng IP là thực hành gửi các yêu cầu ra ngoài thông qua một nhóm địa chỉ IP và thay đổi địa chỉ IP nguồn theo một quy tắc nhất định, chẳng hạn như cho mỗi yêu cầu, mỗi phiên hoặc theo khoảng thời gian cố định. Phân bổ lưu lượng theo cách này giữ cho khối lượng yêu cầu của mỗi IP thấp hơn, vì vậy các giới hạn và lệnh cấm theo IP sẽ ảnh hưởng ít hơn đến công việc.
Quay vòng IP là kỹ thuật. Một proxy quay vòng là dịch vụ thực hiện điều đó cho bạn qua một địa chỉ cổng duy nhất, nhưng bạn cũng có thể quay vòng IP trong mã của riêng bạn. Các kết nối tại nhà với IP động cũng có thể thay đổi địa chỉ, nhưng theo lịch trình của mạng, không phải của bạn.
Cách Quay Vòng IP Hoạt Động
- Lấy một nhóm: danh sách các IP proxy, hoặc một cổng trước một nhóm proxy của nhà cung cấp.
- Chọn một IP theo quy tắc: chọn một địa chỉ cho yêu cầu hoặc phiên tiếp theo.
- Gửi yêu cầu qua đó: trang web mục tiêu chỉ thấy IP đã chọn.
- Nghỉ ngơi hoặc loại bỏ các IP không thành công: loại bỏ một IP khỏi sử dụng khi nó bắt đầu nhận phản hồi bị chặn, chẳng hạn như 403 hoặc 429.
Quy Tắc Quay Vòng
- Theo yêu cầu: một IP mới cho mỗi yêu cầu. Các kết nối được sử dụng lại có thể giữ cùng một IP, như đã giải thích dưới proxy quay vòng.
- Theo thời gian: IP thay đổi theo khoảng thời gian cố định, chẳng hạn như mỗi vài phút.
- Theo phiên (dính): một IP được giữ cho một phiên và sau đó được thay thế. Xem phiên dính.
- Khi thất bại: IP chỉ thay đổi sau khi nhận phản hồi bị chặn hoặc giới hạn tỷ lệ.
- Thứ tự: round-robin sử dụng mỗi IP theo lượt; lựa chọn ngẫu nhiên chọn bất kỳ IP nào có sẵn.
Cách Quay Vòng IP
| Cổng proxy quay vòng | Quay vòng trong mã của bạn | Chuyển đổi máy chủ VPN | |
|---|---|---|---|
| Ai chọn IP | Cổng của nhà cung cấp | Kịch bản của bạn, từ danh sách proxy | Bạn hoặc ứng dụng VPN |
| Cách bạn kết nối | Một máy chủ và cổng | Một proxy khác cho mỗi yêu cầu hoặc phiên | Một đường hầm cho toàn bộ thiết bị |
| Các IP khác nhau cùng lúc | Có, theo kết nối hoặc phiên | Có, theo yêu cầu | Không, một máy chủ cho mỗi kết nối |
Trong mã, quay vòng có nghĩa là thiết lập proxy cho mỗi yêu cầu. Scrapy, chẳng hạn, đọc nó từ request.meta['proxy']. Để biết cách VPN khác với proxy, xem VPN vs. proxy.
Quay Vòng Trong Một Subnet Không Phải Là Quay Vòng Thực Sự
Các trang web không chỉ đếm các địa chỉ đơn lẻ, vì vậy một nhóm các IP lân cận có thể hoạt động như một IP:
- Phạm vi: chỉ thị
denycủa nginx chấp nhận một phạm vi CIDR, vì vậy một quy tắc có thể chặn toàn bộ subnet, chẳng hạn như 256 địa chỉ trong một /24. - Mạng: các quy tắc giới hạn tỷ lệ của Cloudflare có thể đếm các yêu cầu theo số AS, vì vậy mỗi IP từ cùng một mạng sẽ cộng vào một bộ đếm. Xem ASN.
- Tiền tố IPv6: RFC 6177 nói rằng các trang cuối nên nhận ít nhất một /64, và trong hầu hết các trường hợp nhiều hơn. Một trang có thể coi toàn bộ tiền tố như một người dùng, vì vậy việc quay vòng địa chỉ bên trong nó thay đổi rất ít.
Điều quan trọng là số lượng các phạm vi và mạng khác nhau mà một nhóm trải dài, không chỉ là số lượng IP mà nó giữ.
Điều Đó Có Nghĩa Gì Đối Với Web Scraping
- Quay vòng không thay thế việc điều chỉnh tốc độ: khi một trang trả về 429, hãy chờ thời gian trong tiêu đề Retry-After của nó thay vì thử lại ngay lập tức từ một IP mới.
- Cookies có thể tồn tại lâu hơn IP: tùy chọn "IP với hỗ trợ NAT" của Cloudflare có thể xác định người truy cập bằng một cookie phiên (
_cfuvid), vì vậy một IP mới với cùng một hũ cookie có thể vẫn được coi là cùng một người truy cập. - Khớp quy tắc với nhiệm vụ: quay vòng theo yêu cầu cho các trang độc lập và giữ một IP cho đăng nhập và thanh toán.
Tại Sao Quay Vòng Một Mình Không Đủ
Một địa chỉ IP mới không thay đổi mọi thứ mà một trang web có thể thấy. Các trang web có thể liên kết các yêu cầu thông qua một dấu vân tay trình duyệt được xây dựng từ các tín hiệu như tiêu đề User-Agent, kích thước cửa sổ, phông chữ đã cài đặt và cách đồ họa được hiển thị. Một dấu vân tay có thể xác định một khách hàng ngay cả khi địa chỉ IP của họ bị ẩn hoặc cookie bị chặn.