セッションCookieは、ExpiresまたはMax-Age属性が設定されていないHTTP Cookieであり、現在のセッションが終了するとブラウザによって削除されます。Cookieは、主にステートレスであるHTTP上でログインなどの状態をサーバーが保持できるようにします。スクレイピングでは、CookieジャーがこれらのCookieを保存し、同じタスク内の後続のリクエストでそれらを返します。
ブラウザは、現在のセッションが終了するタイミングを決定します。一部のブラウザは再起動時にセッションを復元し、これによりセッションCookieが無期限に生存することがあります。ExpiresまたはMax-Ageを設定したCookieは永続的なCookieであり、両方の属性が設定されている場合、Max-Ageが優先されます。
主要なCookie属性
- ExpiresまたはMax-Ageなし: これがCookieをセッションCookieにする要因です。RFC 6265では、ユーザーエージェントはセッションが終了したときにこれらのCookieをCookieストアから削除しなければならないと述べています。
- Secure: CookieをTLS接続などの安全なチャネルに制限します。
- HttpOnly: CookieをHTTPリクエストに制限し、ブラウザスクリプトが読み取れないようにします。
スクレイピングにおけるCookieジャー
- Cookieジャーとは: レスポンスからCookieを保存し、後続のリクエストでそれらを返すクライアントサイドのストアです。Pythonの
http.cookiejarモジュールがこれを提供し、保存されたCookieを自動的に期限切れにします。 - コード内のセッション:
requestsセッションオブジェクトは、そこから行われるすべてのリクエストでCookieを持続させ、接続プーリングを通じて接続を再利用します。 - ディスクへの保存:
MozillaCookieJarは、curlも使用するcookies.txt形式でCookieを保存します。セッションCookieは、ignore_discard=Trueを渡さない限り保存されません。 - プロキシとの併用: マルチステップタスクが開始から終了まで同じCookieと同じ出口IPを必要とする場合、Cookieジャーをスティッキーセッションと組み合わせます。
セッションIDとセッションハイジャック
- Cookieが持つもの: 通常、セッションが作成されたときにサーバーが割り当てるセッションIDです。OWASPは、これを交換する方法としてCookieを推奨しています。
- なぜ重要か: ログイン後、セッションIDはサイトが使用する最も強力なログイン方法に一時的に相当します。
- ハイジャック: 攻撃者がセッションIDを取得すると、ユーザーを完全に偽装できます。OWASPはこれをセッションハイジャックまたはサイドジャッキングと呼んでいます。
- 強化: 値は無意味であるべきで、少なくとも64ビットのエントロピーを持つ必要があります。OWASPはまた、セッションCookieが
SameSite=StrictまたはSameSite=Laxを設定する必要があると言っています。 - ブラウザを閉じることに依存しない: OWASPは、ログインセッションを終了するためにブラウザの閉鎖に依存することを避けるように助言しています。
セッションCookieとEUの同意ルール
EUのルール(ePrivacy指令の第5条第3項)は、ユーザーが明示的に要求したサービスに厳密に必要でない限り、Cookieに対する同意を要求します。第29作業部会の意見04/2012では、認証Cookieは通常セッションCookieであり、セッションの期間中は免除されると述べています。ショッピングカートなどのセッションベースのユーザー入力Cookieも同様の理由で免除されます。ブラウザセッションをまたいでユーザーをサインインさせ続ける永続的なログインCookieは免除されません。