粘性会话是一种代理设置,它在设定的时间内或直到您更改会话 ID 之前,保持通过相同的出口 IP 地址路由您的请求,而不是在每个请求上分配新的 IP。这种连续性使得多步骤任务(如登录、购物车和结账)能够在会话中不中断地运行,而不会让网站看到您的 IP 在会话中发生变化。
在某些网关上,您可以设置 粘性会话持续时间,在某些情况下可长达 24 小时,当该时间到期时会话将过期。
该术语在服务器端还有第二个含义。AWS 将粘性会话(也称为会话亲和性)描述为 负载均衡器 的一个特性,它将用户的会话绑定到一个后端实例。两种含义都使一个客户端与一个事物保持联系:代理保持您的出口 IP 固定,而负载均衡器则将您保持在一个服务器上。
粘性会话的工作原理
一些旋转代理网关通过您添加到代理用户名的会话 ID 创建粘性会话:
- 选择一个会话 ID: 您将其添加到用户名中,以及网关支持的任何会话长度。
- 重复使用: 带有相同会话 ID 的请求通过相同的出口 IP 发送。
- 让其过期或替换: IP 保持分配,直到会话长度到期。在某些网络上,如果会话处于空闲状态,它也会结束。
- 更改 ID 以获取新 IP: 新的会话 ID 强制使用新 IP,因此您可以并行运行多个粘性会话,每个会话都有自己的 IP。
代理与负载均衡器的粘性会话
| 代理粘性会话 | 负载均衡器粘性会话 | |
|---|---|---|
| 固定的内容 | 您的出口 IP | 处理您的后端服务器 |
| 设置方式 | 您通过代理用户名设置 | 网站的运营者 |
| 如何跟踪 | 会话 ID | 一个 cookie,例如 AWS 的 AWSALB,或您的 IP 的哈希 |
| 使用原因 | 防止登录和购物车看到 IP 变化 | 将所有用户请求发送到同一服务器 |
粘性会话介于另外两种选项之间: 旋转代理 自由更改 IP,而 静态代理 从不更改 IP。
网站也使用粘性会话
许多网站在负载均衡器后面运行自己的粘性会话,而抓取工具可能在不知情的情况下破坏它:
- 基于 cookie: AWS 的故障排除指南表示,如果客户端未能包含
AWSALBcookie,粘性会话将无法正常工作。一个在请求之间丢弃 cookie 的抓取工具可能每次都落在不同的服务器上。 - 基于 IP: 使用 NGINX 的 IP 哈希方法,客户端 IP 的哈希选择服务器,因此同一客户端始终到达同一服务器。在流量中旋转您的 IP 可能会将您移动到另一服务器。
如果网站将会话数据保存在一台服务器上,下一台服务器可能没有您的购物车或登录状态。在整个任务中保持出口 IP 和 会话 cookie 的稳定可以避免这种情况。
粘性会话的局限性
- 目标通过 IP 限制速率时,如果一个 IP 在给定时间内发送了太多请求,可能会返回
429 Too Many Requests。 - 如果 IP 在会话结束之前离线,一些网关会自动更换新的 IP。这可能会在任务进行到一半时中断,因此请考虑重试。
- 当会话窗口关闭时,IP 会更改,这可能会中断仍在进行中的工作。
对网络抓取的影响
- 将会话与任务匹配: 选择一个覆盖整个流程的会话长度,例如从登录到结账。
- 每个工作者一个会话 ID: 为每个并行工作者提供自己的 ID,以便他们的请求和 cookie 不会在同一 IP 上混合。
- 每个会话保持一个 cookie 罐: 存储每个会话接收的 cookie,并在该会话的每个请求中发送它们。