粘性會話是一種代理設置,能夠在設定的時間內或直到您更改會話 ID 之前,保持將您的請求通過相同的出口 IP 地址路由,而不是在每次請求時分配新的 IP。這種連續性使得多步驟任務(如登錄、購物車和結帳)能夠運行,而不會讓網站在會話中看到您的 IP 發生變化。

在某些網關上,您可以設置 粘性會話持續時間,在某些情況下可長達 24 小時,並且當該時間結束時會話將過期。

這個術語在服務器端有第二個含義。AWS 將粘性會話(也稱為會話親和性)描述為一種 負載均衡器 功能,將用戶的會話綁定到一個後端實例。這兩種含義都使一個客戶端與一個事物保持聯繫:代理保持您的出口 IP 固定,而負載均衡器則使您保持在一台服務器上。

粘性會話如何運作

一些旋轉代理網關從您添加到代理用戶名的會話 ID 創建粘性會話:

  1. 選擇一個會話 ID: 您將其添加到用戶名中,並包括網關支持的任何會話長度。
  2. 重用它: 攜帶相同會話 ID 的請求通過相同的出口 IP 發送。
  3. 讓它過期或替換它: IP 在會話長度到期之前保持分配。在某些網絡上,如果會話閒置,它也會結束。
  4. 更改 ID 以獲取新 IP: 新的會話 ID 會強制分配新 IP,因此您可以在並行運行幾個粘性會話,每個會話都有自己的 IP。

代理與負載均衡器的粘性會話

代理粘性會話負載均衡器粘性會話
固定的內容您的出口 IP處理您的後端服務器
誰設置它您通過代理用戶名網站的運營商
如何跟踪一個會話 ID一個 cookie,例如 AWS 的 AWSALB,或您的 IP 的哈希
為什麼使用它防止登錄和購物車看到 IP 變化將所有用戶的請求發送到同一服務器

粘性會話介於其他兩個選項之間: 旋轉代理 自由更改 IP,而 靜態代理 則從不更改它。

網站也使用粘性會話

許多網站在負載均衡器後運行自己的粘性,而抓取器可能在不注意的情況下破壞它:

  • 基於 cookie: AWS 的故障排除指南表示,如果客戶端未能包含 AWSALB cookie,則粘性將無法正常工作。丟棄請求之間的 cookie 的抓取器可能每次都登陸到不同的服務器。
  • 基於 IP: 使用 NGINX 的 IP 哈希方法,客戶端 IP 的哈希選擇服務器,因此相同的客戶端保持連接到同一服務器。在流中旋轉您的 IP 可能會將您移動到另一台服務器。

如果網站將會話數據保存在一台服務器上,則下一台服務器可能沒有您的購物車或登錄狀態。保持出口 IP 和 會話 cookie 在整個任務中穩定可以避免這種情況。

粘性會話的限制

  • 目標如果按 IP 限制速率,則在給定時間內發送過多請求的一個 IP 可能會收到 429 Too Many Requests 的回應。
  • 如果 IP 在會話結束之前下線,某些網關會自動更換新 IP。這可能會在任務中途中斷,因此請建立重試機制。
  • 當會話窗口關閉時,IP 會更改,這可能會中斷仍在進行的工作。

對網頁抓取的意義

  • 將會話與任務匹配: 選擇一個涵蓋整個流程的會話長度,例如從登錄到結帳。
  • 每個工作者一個會話 ID: 為每個並行工作者提供自己的 ID,以便他們的請求和 cookie 不會在同一 IP 上混合。
  • 每個會話保持一個 cookie jar: 存儲每個會話接收的 cookie,並在該會話的每次請求中將其發回。

相關術語