粘性會話是一種代理設置,能夠在設定的時間內或直到您更改會話 ID 之前,將您的請求持續路由到相同的出口 IP 地址,而不是在每次請求時分配新的 IP。這種連續性使得多步驟任務(如登錄、購物車和結帳)能夠在會話中不會看到您的 IP 變更。

在某些網關上,您可以設置 粘性會話持續時間,在某些情況下可長達 24 小時,並且當該時間結束時會話將過期。

這個術語在伺服器端有第二個含義。AWS 將粘性會話(也稱為會話親和性)描述為一種 負載均衡器 功能,將用戶的會話綁定到一個後端實例。這兩種含義都保持一個客戶端與一個事物相連:代理保持您的出口 IP 固定,而負載均衡器則讓您保持在一台伺服器上。

粘性會話如何運作

某些旋轉代理網關會根據您添加到代理用戶名中的會話 ID 創建粘性會話:

  1. 選擇一個會話 ID: 您將其添加到用戶名中,並附上網關支持的任何會話長度。
  2. 重用它: 攜帶相同會話 ID 的請求將通過相同的出口 IP 發送。
  3. 讓它過期或替換它: IP 在會話長度結束之前保持分配。在某些網絡上,如果會話閒置,它也會結束。
  4. 更改 ID 以獲取新 IP: 新的會話 ID 會強制分配新的 IP,因此您可以並行運行幾個粘性會話,每個會話都有自己的 IP。

代理與負載均衡器的粘性會話

代理粘性會話負載均衡器粘性會話
固定的內容您的出口 IP處理您的後端伺服器
誰設置它您,通過代理用戶名網站的運營者
如何跟踪會話 ID一個 cookie,例如 AWS 的 AWSALB,或您的 IP 的哈希
為什麼使用它防止登錄和購物車看到 IP 變更將所有用戶的請求發送到同一伺服器

粘性會話介於另外兩個選項之間: 旋轉代理 自由更改 IP,而 靜態代理 則從不更改它。

網站也使用粘性會話

許多網站在負載均衡器後運行自己的粘性會話,而抓取工具可能在不注意的情況下打破它:

  • 基於 cookie: AWS 的故障排除指南表示,如果客戶端未能包含 AWSALB cookie,則粘性會話將無法正常工作。丟棄請求之間的 cookie 的抓取工具每次都可能登陸到不同的伺服器。
  • 基於 IP: 使用 NGINX 的 IP 哈希方法,客戶端 IP 的哈希選擇伺服器,因此相同的客戶端不斷到達同一伺服器。在流量中旋轉您的 IP 可能會將您移到另一台伺服器。

如果網站將會話數據保留在一台伺服器上,則下一台伺服器可能沒有您的購物車或登錄狀態。保持出口 IP 和 會話 cookie 在整個任務中穩定可以避免這種情況。

粘性會話的限制

  • 目標如果按 IP 限制速率,則在給定時間內發送過多請求的 IP 可能會收到 429 Too Many Requests 的回應。
  • 如果 IP 在會話結束之前離線,某些網關會自動更換新的 IP。這可能會在任務進行到一半時中斷,因此請內建重試機制。
  • 當會話窗口關閉時,IP 會變更,這可能會中斷仍在進行中的工作。

對網頁抓取的影響

  • 將會話與任務匹配: 選擇一個涵蓋整個流程的會話長度,例如從登錄到結帳。
  • 每個工作者一個會話 ID: 為每個並行工作者提供自己的 ID,以便他們的請求和 cookie 不會在同一 IP 上混合。
  • 每個會話保持一個 cookie 罐: 存儲每個會話接收的 cookie,並在該會話中的每個請求中發回這些 cookie。

相關術語