粘性會話是一種代理設置,能夠在設定的時間內或直到您更改會話 ID 之前,保持將您的請求通過相同的出口 IP 地址路由,而不是在每次請求時分配新的 IP。這種連續性使得多步驟任務(如登錄、購物車和結帳)能夠運行,而不會讓網站在會話中看到您的 IP 發生變化。
在某些網關上,您可以設置 粘性會話持續時間,在某些情況下可長達 24 小時,並且當該時間結束時會話將過期。
這個術語在服務器端有第二個含義。AWS 將粘性會話(也稱為會話親和性)描述為一種 負載均衡器 功能,將用戶的會話綁定到一個後端實例。這兩種含義都使一個客戶端與一個事物保持聯繫:代理保持您的出口 IP 固定,而負載均衡器則使您保持在一台服務器上。
粘性會話如何運作
一些旋轉代理網關從您添加到代理用戶名的會話 ID 創建粘性會話:
- 選擇一個會話 ID: 您將其添加到用戶名中,並包括網關支持的任何會話長度。
- 重用它: 攜帶相同會話 ID 的請求通過相同的出口 IP 發送。
- 讓它過期或替換它: IP 在會話長度到期之前保持分配。在某些網絡上,如果會話閒置,它也會結束。
- 更改 ID 以獲取新 IP: 新的會話 ID 會強制分配新 IP,因此您可以在並行運行幾個粘性會話,每個會話都有自己的 IP。
代理與負載均衡器的粘性會話
| 代理粘性會話 | 負載均衡器粘性會話 | |
|---|---|---|
| 固定的內容 | 您的出口 IP | 處理您的後端服務器 |
| 誰設置它 | 您通過代理用戶名 | 網站的運營商 |
| 如何跟踪 | 一個會話 ID | 一個 cookie,例如 AWS 的 AWSALB,或您的 IP 的哈希 |
| 為什麼使用它 | 防止登錄和購物車看到 IP 變化 | 將所有用戶的請求發送到同一服務器 |
粘性會話介於其他兩個選項之間: 旋轉代理 自由更改 IP,而 靜態代理 則從不更改它。
網站也使用粘性會話
許多網站在負載均衡器後運行自己的粘性,而抓取器可能在不注意的情況下破壞它:
- 基於 cookie: AWS 的故障排除指南表示,如果客戶端未能包含
AWSALBcookie,則粘性將無法正常工作。丟棄請求之間的 cookie 的抓取器可能每次都登陸到不同的服務器。 - 基於 IP: 使用 NGINX 的 IP 哈希方法,客戶端 IP 的哈希選擇服務器,因此相同的客戶端保持連接到同一服務器。在流中旋轉您的 IP 可能會將您移動到另一台服務器。
如果網站將會話數據保存在一台服務器上,則下一台服務器可能沒有您的購物車或登錄狀態。保持出口 IP 和 會話 cookie 在整個任務中穩定可以避免這種情況。
粘性會話的限制
- 目標如果按 IP 限制速率,則在給定時間內發送過多請求的一個 IP 可能會收到
429 Too Many Requests的回應。 - 如果 IP 在會話結束之前下線,某些網關會自動更換新 IP。這可能會在任務中途中斷,因此請建立重試機制。
- 當會話窗口關閉時,IP 會更改,這可能會中斷仍在進行的工作。
對網頁抓取的意義
- 將會話與任務匹配: 選擇一個涵蓋整個流程的會話長度,例如從登錄到結帳。
- 每個工作者一個會話 ID: 為每個並行工作者提供自己的 ID,以便他們的請求和 cookie 不會在同一 IP 上混合。
- 每個會話保持一個 cookie jar: 存儲每個會話接收的 cookie,並在該會話的每次請求中將其發回。