スティッキーセッションは、リクエストを同じ出口IPアドレスを介して一定期間ルーティングし続けるプロキシ設定です。セッションIDを変更するまで、新しいIPをリクエストごとに割り当てるのではなく、同じIPを維持します。この継続性により、ログイン、カート、チェックアウトなどの複数ステップのタスクが、セッション中にIPが変更されることなく実行できます。
一部のゲートウェイでは、スティッキーセッションの期間を設定でき、場合によっては最大24時間まで可能で、その時間が経過するとセッションは期限切れになります。
この用語には、サーバー側での第二の意味があります。AWSは、スティッキーセッション(セッションアフィニティとも呼ばれる)を、ユーザーのセッションを1つのバックエンドインスタンスにバインドするロードバランサーの機能として説明しています。両方の意味は、1つのクライアントを1つのものに結びつけます:プロキシは出口IPを固定し、ロードバランサーは1つのサーバーに留まらせます。
スティッキーセッションの仕組み
一部の回転プロキシゲートウェイは、プロキシユーザー名に追加したセッションIDからスティッキーセッションを作成します:
- セッションIDを選択する: ユーザー名に追加し、ゲートウェイがサポートするセッションの長さを含めます。
- 再利用する: 同じセッションIDを持つリクエストは、同じ出口IPを通過します。
- 期限切れまたは置き換える: セッションの長さが終了するまでIPは割り当てられたままです。一部のネットワークでは、セッションがアイドル状態になると終了することもあります。
- 新しいIPのためにIDを変更する: 新しいセッションIDは新しいIPを強制するため、各IPでそれぞれのスティッキーセッションを並行して実行できます。
プロキシとロードバランサーのスティッキーセッション
| プロキシスティッキーセッション | ロードバランサースティッキーセッション | |
|---|---|---|
| 固定されるもの | あなたの出口IP | あなたを処理するバックエンドサーバー |
| 誰が設定するか | あなた、プロキシユーザー名を通じて | ウェブサイトの運営者 |
| どのように追跡されるか | セッションID | クッキー、例えばAWSのAWSALB、またはあなたのIPのハッシュ |
| なぜ使用されるか | ログインやカートがIPの変更を見ないようにするため | ユーザーのすべてのリクエストを同じサーバーに送信するため |
スティッキーセッションは、他の2つのオプションの間に位置します: 回転プロキシはIPを自由に変更し、静的プロキシは決して変更しません。
ウェブサイトもスティッキーセッションを使用
多くのサイトは、ロードバランサーの背後で独自のスティッキー機能を実行しており、スクレイパーは気づかずにそれを壊すことがあります:
- クッキーに基づく: AWSのトラブルシューティングガイドによれば、クライアントが
AWSALBクッキーを含めない場合、スティッキー機能は機能しません。リクエスト間でクッキーを削除するスクレイパーは、毎回異なるサーバーに到達する可能性があります。 - IPに基づく: NGINXのIPハッシュメソッドでは、クライアントIPのハッシュがサーバーを選択するため、同じクライアントが同じサーバーに到達し続けます。フローの途中でIPを回転させると、別のサーバーに移動する可能性があります。
サイトがセッションデータを1つのサーバーに保持している場合、次のサーバーにはカートやログイン状態がないかもしれません。タスク全体を通じて出口IPとセッションクッキーを安定させることで、これを回避できます。
スティッキーセッションの制限
- IPによってレート制限されるターゲットは、特定の時間内に1つのIPが多くのリクエストを送信すると、
429 Too Many Requestsで応答することがあります。 - セッションが終了する前にIPがオフラインになると、一部のゲートウェイは自動的に新しいIPに切り替えます。それはタスクの途中で壊れる可能性があるため、リトライを組み込む必要があります。
- セッションウィンドウが閉じると、IPが変更され、進行中の作業が中断される可能性があります。
ウェブスクレイピングにおける意味
- タスクにセッションを合わせる: ログインからチェックアウトまでの全体のフローをカバーするセッションの長さを選択します。
- ワーカーごとに1つのセッションID: 各並行ワーカーに独自のIDを与え、彼らのリクエストとクッキーが1つのIPで混ざらないようにします。
- セッションごとにクッキージャーを保持: 各セッションが受け取るクッキーを保存し、そのセッションのすべてのリクエストでそれらを返送します。