ウェブスクレイピングは、ウェブサイトからのデータの自動抽出です。プログラムがページをリクエストし、返されたHTMLまたはJSONを解析し、価格やリストなどの特定のフィールドを構造化された形式で保存します。ウェブクロールとは異なり、リンクをたどってページを発見しインデックスするのではなく、スクレイピングは取得したページから特定のデータを抽出します。
基本的なスクレイパーは、ターゲットURLにHTTPリクエストを送り、生のHTML(またはAPIベースのサイトの場合はJSON)を受け取り、必要な特定のデータポイントを解析します:製品価格、検索ランキング、連絡先情報などです。スケールでのスクレイピングは、特定の時間枠内で単一のIPアドレスが行えるリクエストの数を制限するレート制限に直面します。
ウェブスクレイピングツールの種類
- コードライブラリ: HTTPリクエストを送信し、HTMLを解析するスクリプト。例えば、HTMLパーサーを使用したPythonなど。
- ブラウザ自動化: SeleniumやPlaywrightなどのツールは、JavaScriptで構築されたコンテンツを含む完全なページを読み込み、レンダリングされたDOMからデータを抽出します。
- 公式API: サイトが提供する場合、HTML解析なしで構造化されたデータを直接返します。
一般的なアンチスクレイピング対策
レート制限に加えて、サイトはスクレイパーを見つけて遅くするための他の方法を使用します:
- CAPTCHA:訪問者に人間であることを証明させる質問。
- robots.txtファイル:自動クロールがアクセスできるパスを示します。
- ハニーポット: 人間の訪問者が決して見たりクリックしたりしない隠れたリンクで、ボットを特定しフィンガープリンティングするために使用されます。
- デバイスフィンガープリンティング:特性からブラウザやデバイスを再特定できる技術で、クッキーがクリアされた後やVPNが使用されている場合でも機能します。