スティッキーセッションは、リクエストを同じ出口IPアドレスを介して一定期間ルーティングし続けるプロキシ設定です。セッションIDを変更するまで、新しいIPをリクエストごとに割り当てるのではなく、同じIPを維持します。この継続性により、ログイン、カート、チェックアウトなどの複数ステップのタスクが、セッション中にIPが変更されることなく実行できます。

一部のゲートウェイでは、スティッキーセッションの期間を設定でき、場合によっては最大24時間まで可能で、その時間が経過するとセッションは期限切れになります。

この用語には、サーバー側での第二の意味があります。AWSは、スティッキーセッション(セッションアフィニティとも呼ばれる)を、ユーザーのセッションを1つのバックエンドインスタンスにバインドするロードバランサーの機能として説明しています。両方の意味は、1つのクライアントを1つのものに結びつけます:プロキシは出口IPを固定し、ロードバランサーは1つのサーバーに留まらせます。

スティッキーセッションの仕組み

一部の回転プロキシゲートウェイは、プロキシユーザー名に追加したセッションIDからスティッキーセッションを作成します:

  1. セッションIDを選択する: ユーザー名に追加し、ゲートウェイがサポートするセッションの長さを含めます。
  2. 再利用する: 同じセッションIDを持つリクエストは、同じ出口IPを通過します。
  3. 期限切れまたは置き換える: セッションの長さが終了するまでIPは割り当てられたままです。一部のネットワークでは、セッションがアイドル状態になると終了することもあります。
  4. 新しいIPのためにIDを変更する: 新しいセッションIDは新しいIPを強制するため、各IPでそれぞれのスティッキーセッションを並行して実行できます。

プロキシとロードバランサーのスティッキーセッション

プロキシスティッキーセッションロードバランサースティッキーセッション
固定されるものあなたの出口IPあなたを処理するバックエンドサーバー
誰が設定するかあなた、プロキシユーザー名を通じてウェブサイトの運営者
どのように追跡されるかセッションIDクッキー、例えばAWSのAWSALB、またはあなたのIPのハッシュ
なぜ使用されるかログインやカートがIPの変更を見ないようにするためユーザーのすべてのリクエストを同じサーバーに送信するため

スティッキーセッションは、他の2つのオプションの間に位置します: 回転プロキシはIPを自由に変更し、静的プロキシは決して変更しません。

ウェブサイトもスティッキーセッションを使用

多くのサイトは、ロードバランサーの背後で独自のスティッキー機能を実行しており、スクレイパーは気づかずにそれを壊すことがあります:

  • クッキーに基づく: AWSのトラブルシューティングガイドによれば、クライアントがAWSALBクッキーを含めない場合、スティッキー機能は機能しません。リクエスト間でクッキーを削除するスクレイパーは、毎回異なるサーバーに到達する可能性があります。
  • IPに基づく: NGINXのIPハッシュメソッドでは、クライアントIPのハッシュがサーバーを選択するため、同じクライアントが同じサーバーに到達し続けます。フローの途中でIPを回転させると、別のサーバーに移動する可能性があります。

サイトがセッションデータを1つのサーバーに保持している場合、次のサーバーにはカートやログイン状態がないかもしれません。タスク全体を通じて出口IPとセッションクッキーを安定させることで、これを回避できます。

スティッキーセッションの制限

  • IPによってレート制限されるターゲットは、特定の時間内に1つのIPが多くのリクエストを送信すると、429 Too Many Requestsで応答することがあります。
  • セッションが終了する前にIPがオフラインになると、一部のゲートウェイは自動的に新しいIPに切り替えます。それはタスクの途中で壊れる可能性があるため、リトライを組み込む必要があります。
  • セッションウィンドウが閉じると、IPが変更され、進行中の作業が中断される可能性があります。

ウェブスクレイピングにおける意味

  • タスクにセッションを合わせる: ログインからチェックアウトまでの全体のフローをカバーするセッションの長さを選択します。
  • ワーカーごとに1つのセッションID: 各並行ワーカーに独自のIDを与え、彼らのリクエストとクッキーが1つのIPで混ざらないようにします。
  • セッションごとにクッキージャーを保持: 各セッションが受け取るクッキーを保存し、そのセッションのすべてのリクエストでそれらを返送します。

関連用語