ボット検出は、ウェブサイト、アプリ、またはAPIへのトラフィックが自動化されたソフトウェアから来ているのか、人間から来ているのかを特定するプロセスです。また、有害なボットと正当なボット(例えば、検索エンジンのクローラー)を区別します。検出システムは、ネットワーク、クライアント、ユーザーの行動からの信号をスコアリングします。その結果、リクエストが許可されるか、挑戦されるかブロックされるかが決まります。
ボット検出の層
- ネットワークレベルの信号: IPの評判、ASNフィルタリング
- クライアントレベルの信号: TLSおよびブラウザフィンガープリンティング、ヘッダーの一貫性
- 行動信号: 行動テレメトリー、セッション対応のレート制限
1つの層を通過したリクエストでも、別の層でフラグが立てられる可能性があります。
いくつかの信号は互いに照合することができます。OWASPは、クライアントヒントヘッダーがクライアントによって宣言されるが、そのTLSフィンガープリンティングに対して検証できることを指摘しています。
良いボットの検証
すべての自動化されたトラフィックが望ましくないわけではありません。例えば、検索エンジンのクローラーは、検索結果に表示されるためにページを取得します。どのボットもUser-Agentでクローラーを主張できるため、サイトは代わりにIPアドレスを検証します。GoogleはGooglebotを検証する2つの方法を文書化しています:
- DNSチェック: IPの逆DNSルックアップを実行します。ホスト名がgooglebot.com、google.com、またはgoogleusercontent.comで終わることを確認します。その後、フォワードルックアップを実行し、元のIPが返されることを確認します。
- IP範囲: GoogleがJSONで公開しているクローラーIP範囲のリストとIPを照合します。
ボット検出がターゲットとする脅威
OWASPのウェブアプリケーションへの自動化された脅威プロジェクトは、21の自動化された脅威を挙げています。例としては:
- 資格情報の詰め込み (OAT-008): 盗まれたユーザー名とパスワードのペアをテストする大量ログイン試行。
- スクレイピング (OAT-011): アプリケーションのコンテンツやその他のデータを収集して他の場所で使用すること。
- スカルピング (OAT-005): 不正な手段で限定的な商品やサービスを取得すること。
- アカウント作成 (OAT-019): 後で悪用するために多くのアカウントを作成すること。