IP 轮换是通过一组 IP 地址发送外发请求并根据设定规则 切换源 IP 的做法,例如每个请求、每个会话或在设定的时间间隔内。以这种方式分散流量可以降低每个 IP 的请求量,因此每个 IP 的速率限制和禁令对工作影响较小。

IP 轮换是这一技术。一个 轮换代理 是在一个网关地址后为您提供此服务的服务,但您也可以在自己的代码中轮换 IP。具有动态 IP 的家庭连接也可以更改地址,但这是根据网络的时间表,而不是您的。

IP 轮换如何工作

  1. 获取一个池: 一份代理 IP 列表,或在提供商的 代理池 前面的网关。
  2. 按规则选择 IP: 为下一个请求或会话选择一个地址。
  3. 通过它发送请求: 目标网站只看到所选的 IP。
  4. 休息或丢弃失败的 IP: 当 IP 开始收到阻止响应(如 403 或 429)时,将其停止使用。

轮换规则

  • 每个请求: 每个请求使用一个新 IP。重用的连接可以保持相同的 IP,如轮换代理下所述。
  • 定时: IP 在固定时间间隔内更改,例如每几分钟。
  • 每个会话(粘性): 一个 IP 在会话期间保持,然后替换。请参见 粘性会话。
  • 在失败时: 仅在收到阻止或速率限制响应后更改 IP。
  • 顺序: 循环使用每个 IP;随机选择则选择任何可用的 IP。

轮换 IP 的方法

轮换代理网关在您自己的代码中轮换切换 VPN 服务器
谁选择 IP提供商的网关您的脚本,从代理列表中您或 VPN 应用程序
如何连接一个主机和端口每个请求或会话使用不同的代理整个设备一个隧道
同时不同的 IP是的,按连接或会话是的,按请求不,一个服务器每个连接

在代码中,轮换意味着在每个请求上设置代理。例如,Scrapy 从 request.meta['proxy'] 中读取它。有关 VPN 与代理的不同之处,请参见 VPN 与代理。

在一个子网内轮换并不是真正的轮换

网站不仅仅计算单个地址,因此一组相邻的 IP 可以像一个 IP 一样工作:

  • 范围: nginx 的 deny 指令接受 CIDR 范围,因此一个规则可以阻止整个 子网,例如 /24 中的 256 个地址。
  • 网络: Cloudflare 的速率限制规则可以按 AS 号计算请求,因此来自同一网络的每个 IP 都会增加一个计数器。请参见 ASN。
  • IPv6 前缀: RFC 6177 规定最终站点应至少获得一个 /64,并且在大多数情况下要多得多。一个站点可以将整个前缀视为一个用户,因此在其中轮换地址几乎没有变化。

重要的是池跨越多少不同的范围和网络,而不仅仅是它持有多少个 IP。

这对网络爬虫意味着什么

  • 轮换并不能替代节奏: 当网站回答 429 时,请等待其 Retry-After header 中的时间,而不是立即从新 IP 重试。
  • Cookies 可能会超越 IP: Cloudflare 的 "支持 NAT 的 IP" 选项可以通过会话 cookie (_cfuvid) 识别访客,因此具有相同 cookie jar 的新 IP 可能仍然被视为同一访客。
  • 将规则与任务匹配: 对于独立页面按请求轮换,对于登录和结账保持一个 IP。

为什么仅靠轮换还不够

新的 IP 不會改變網站可以看到的其他所有內容。網站可以通過 瀏覽器指紋 連結請求,這是基於用戶代理標頭、窗口大小、安裝的字體以及圖形渲染方式等信號構建的。即使其 IP 被隱藏或 cookies 被阻止,指紋仍然可以識別客戶端。

相關術語