旋转代理是一种代理服务,它会自动更改外发IP地址,为每个请求、每个新连接或每个时间窗口从池中提取一个新的IP。

您连接到一个网关地址,提供商选择目标网站看到的出口IP。"旋转"描述的是IP如何变化,而不是它来自哪里:池中可以包含住宅、数据中心、移动或ISP地址。

旋转代理的工作原理

  1. 您的客户端将流量发送到一个网关主机和代理端口,通常需要用户名和密码。
  2. 网关从其代理池中选择一个出口IP,并从该地址连接到目标网站。
  3. 目标仅看到出口IP。在下一个请求、连接或时间窗口中,网关可以选择不同的IP。

旋转方法

  • 按请求或按连接: 每个新请求或连接都会获得一个新的出口IP。这适合无状态页面抓取。
  • 定时旋转: 一个IP在设定的时间内保持,例如几分钟,然后被替换。
  • 粘性会话: 粘性会话在整个会话中保持一个IP,因此登录、购物车和多步骤表单可以继续工作。

每请求通常意味着每连接

通过代理的HTTPS流量在使用HTTP CONNECT方法打开的隧道内运行。代理然后在两个方向上盲目转发数据,直到隧道关闭,因此通过一个打开的隧道发送的每个请求都通过同一连接到达网站,并显示相同的出口IP。

大多数HTTP客户端也保持连接打开,并在后续请求中重用它们,这被称为持久连接或保持活动连接。HTTP/2更进一步,通过单个连接复用多个请求。如果您的抓取工具重用连接,即使在每请求计划中,多个请求也可以共享一个IP。要每次获得新的IP,请在每个请求后关闭连接或在您的HTTP客户端中关闭连接重用。

旋转代理与静态代理

旋转代理静态代理
出口IP每个请求、连接或时间窗口更改保持不变
会话连续性需要粘性会话内置
每个IP的请求负载分散在池中全部在一个IP上
典型适用场景大规模抓取、排名跟踪、跨多个页面的价格检查登录、账户工作、IP白名单

请参阅静态代理以了解何时固定IP是更好的选择。

旋转代理的类型

旋转可以在任何IP类型上运行:

  • 住宅: 由消费者ISP分配的家庭IP。
  • 数据中心: 来自托管提供商的IP,按托管ASN分组。
  • 移动: 许多手机用户通常共享的运营商IP。
  • ISP: 注册到消费者ISP但托管在数据中心的IP。

对网络抓取的意义

  • 旋转分散每个IP的计数: 在Cloudflare的免费和专业计划中,速率限制规则仅按IP计数请求。在池中分散请求可以保持每个IP的计数较低。请参阅速率限制。
  • 将方法与工作匹配: 对于独立页面,例如排名跟踪的搜索结果,使用按请求旋转。对于任何依赖于登录或会话cookie的内容,使用粘性会话。

旋转代理的限制

旋转仅更改您的 IP。Cookies、账户登录和浏览器指纹识别仍然可以识别您。W3C 的指纹识别指南指出,Tor 用户虽然更改了网络路由,但仍然可以通过浏览器指纹识别进行关联,而使用 VPN 也无法防止这种情况。

  • 速率限制并不总是按 IP 计算: 在 Cloudflare 的企业计划中,使用高级速率限制时,规则可以按 IP、头部、Cookie 或查询参数值、ASN、国家、JA3/JA4 TLS 指纹或 JWT 声明来计算请求。新的 IP 不会重置基于这些的限制。
  • 会话中途更改 IP 可能会结束会话: OWASP 建议将会话绑定到客户端属性,例如 IP 地址,并将已建立会话中的更改视为可能的劫持迹象,可以进行警报或终止。粘性会话在设定的时间内保持一个 IP,从而避免这种情况。
  • 没有额外的加密: 旋转本身并不加密流量。HTTPS 网站保持端到端加密,因为代理仅转发隧道的字节。

相关术语