代理池是一个代理IP地址的集合,从中为每个请求或会话选择一个IP。通过这种方式将流量分散到多个地址,可以降低来自任何一个IP的请求数量。

池是地址的集合。IP轮换是从中选择的规则,而轮换代理是为您应用该规则的服务。

代理池的工作原理

在某些服务中,您可以将请求发送到一个网关端点,而不是单独配置每个代理。对于每个请求,网关(或您自己的软件)从池中选择一个可用的IP:

  1. 选择: 为请求或会话选择一个IP,可以是每次新的,也可以保持为粘性会话。
  2. 发送: 请求从该IP发出,这是目标看到的唯一地址。
  3. 检查: 响应显示该IP是否仍然适用于该目标。
  4. 休息或移除: 不断失败的IP会被暂停或删除,并添加新的IP。

代理列表与管理池

代理列表网关后面的管理池
您配置的内容每个代理的地址和端口一个主机和端口
谁选择IP您的代码网关
死亡或被阻止的IP您检测并移除它们由提供商处理
会话控制您将会话映射到IP通常是添加到代理用户名的会话ID

代理池的类型

  • 数据中心: 分配给托管提供商的IP。
  • 住宅: 在消费者连接上的IP。网站将其流量视为来自普通用户。
  • ISP(静态住宅): 注册到消费者ISP的IP。
  • 移动: 通过运营商网络路由的流量。
  • 混合: 数据中心和住宅IP的组合。

从响应中读取池的健康状况

响应通常意味着什么对IP的处理
407 代理身份验证要求代理拒绝了您的凭据,而不是网站保留它并修复代理身份验证
429 请求过多网站的速率限制被触发暂停它,并等待任何重试后时间
403,或挑战页面网站可能正在阻止该IP或范围将其移除以针对该目标
超时或拒绝连接代理可能已关闭或无法访问重试一次,然后将其移除

Cloudflare用cf-mitigated: challenge头标记其挑战页面,因此请检查头,而不仅仅是状态代码。有关阻止的更多迹象,请参见IP禁令。

多个品牌可以共享一个池

来自不同提供商的更大池不一定是不同的池。在2026年7月,谷歌的威胁情报团队报告称,许多流行的住宅代理品牌以自己的名义转售一个运营商的网络。它还发现,运营商在自己的网络缩小时会从竞争对手那里购买容量,并称该行业为不断转售的重叠网络之一。

因此,两个服务可以通过相同的出口设备发送您,而一个被阻止的IP在另一个上也可能已经被阻止。

这对网络爬虫意味着什么

  • 计算每个IP的负载: 将您的请求速率除以正在使用的IP数量。例如,600个请求每分钟分布在100个IP上,每个IP大约每分钟处理6个请求。
  • 计算网络,而不仅仅是IP: 一组相邻的地址可能会作为一个范围被封锁。请参见subnet。
  • 先规划布局: 按目标和任务对池进行分段,并评估IP的健康状况。有关更完整的设计指南,请参见proxy pool architecture。

相关术语