粘性会话是一种代理设置,它在设定的时间内或直到您更改会话 ID 之前,保持通过相同的出口 IP 地址路由您的请求,而不是在每个请求上分配新的 IP。这种连续性使得多步骤任务(如登录、购物车和结账)能够在会话中不中断地运行,而不会让网站看到您的 IP 在会话中发生变化。

在某些网关上,您可以设置 粘性会话持续时间,在某些情况下可长达 24 小时,当该时间到期时会话将过期。

该术语在服务器端还有第二个含义。AWS 将粘性会话(也称为会话亲和性)描述为 负载均衡器 的一个特性,它将用户的会话绑定到一个后端实例。两种含义都使一个客户端与一个事物保持联系:代理保持您的出口 IP 固定,而负载均衡器则将您保持在一个服务器上。

粘性会话的工作原理

一些旋转代理网关通过您添加到代理用户名的会话 ID 创建粘性会话:

  1. 选择一个会话 ID: 您将其添加到用户名中,以及网关支持的任何会话长度。
  2. 重复使用: 带有相同会话 ID 的请求通过相同的出口 IP 发送。
  3. 让其过期或替换: IP 保持分配,直到会话长度到期。在某些网络上,如果会话处于空闲状态,它也会结束。
  4. 更改 ID 以获取新 IP: 新的会话 ID 强制使用新 IP,因此您可以并行运行多个粘性会话,每个会话都有自己的 IP。

代理与负载均衡器的粘性会话

代理粘性会话负载均衡器粘性会话
固定的内容您的出口 IP处理您的后端服务器
设置方式您通过代理用户名设置网站的运营者
如何跟踪会话 ID一个 cookie,例如 AWS 的 AWSALB,或您的 IP 的哈希
使用原因防止登录和购物车看到 IP 变化将所有用户请求发送到同一服务器

粘性会话介于另外两种选项之间: 旋转代理 自由更改 IP,而 静态代理 从不更改 IP。

网站也使用粘性会话

许多网站在负载均衡器后面运行自己的粘性会话,而抓取工具可能在不知情的情况下破坏它:

  • 基于 cookie: AWS 的故障排除指南表示,如果客户端未能包含 AWSALB cookie,粘性会话将无法正常工作。一个在请求之间丢弃 cookie 的抓取工具可能每次都落在不同的服务器上。
  • 基于 IP: 使用 NGINX 的 IP 哈希方法,客户端 IP 的哈希选择服务器,因此同一客户端始终到达同一服务器。在流量中旋转您的 IP 可能会将您移动到另一服务器。

如果网站将会话数据保存在一台服务器上,下一台服务器可能没有您的购物车或登录状态。在整个任务中保持出口 IP 和 会话 cookie 的稳定可以避免这种情况。

粘性会话的局限性

  • 目标通过 IP 限制速率时,如果一个 IP 在给定时间内发送了太多请求,可能会返回 429 Too Many Requests。
  • 如果 IP 在会话结束之前离线,一些网关会自动更换新的 IP。这可能会在任务进行到一半时中断,因此请考虑重试。
  • 当会话窗口关闭时,IP 会更改,这可能会中断仍在进行中的工作。

对网络抓取的影响

  • 将会话与任务匹配: 选择一个覆盖整个流程的会话长度,例如从登录到结账。
  • 每个工作者一个会话 ID: 为每个并行工作者提供自己的 ID,以便他们的请求和 cookie 不会在同一 IP 上混合。
  • 每个会话保持一个 cookie 罐: 存储每个会话接收的 cookie,并在该会话的每个请求中发送它们。

相关术语