XPath(XML Path Language)は、XMLドキュメントの一部をアドレス指定および選択するためのW3C表現言語であり、HTMLをナビゲートすることもできます。その定義的な特徴は、//a/@hrefのようなパス式であり、ドキュメントツリーを歩いて要素、属性、またはテキストに到達します。Scrapyなどのスクレイピングツールは、ダウンロードしたページからデータを抽出するためにXPathをサポートしています。

現在のバージョンであるXPath 3.1は、2017年3月21日にW3C勧告となりました。これはXMLで動作し、このバージョンではJSONデータにも対応しています。

XPath構文の基本

  • パス: //titleは、ドキュメント内のどこにでもあるtitle要素を選択します。
  • テキスト: //title/text()は、それらの要素内のテキストを返します。
  • 属性: @は属性を選択し、//a/@hrefはリンクターゲットを返します。
  • 述語: 角括弧は結果をフィルタリングし、//div[@class="price"]はそのクラスを持つdiv要素のみを保持します。

ウェブスクレイピングにおけるXPath

ScrapyセレクタはXPathとCSSの両方を受け入れ、Scrapyはcssselectライブラリを使用してCSSクエリを内部的にXPathに変換します。そのセレクタは、内部でlxmlライブラリを使用しています。ブラウザでは、XPathはXPathExpressionインターフェースを介してHTMLおよびSVGドキュメントのDOMをナビゲートでき、querySelectorAll()のようなメソッドの代替手段となります。

XPath関数とXSLT

XPathは、XSLTなどのホスト言語に埋め込むように設計されています。W3Cは、XPath、XQuery、およびXSLT用のfn名前空間に1つの関数ライブラリを定義しています。スクレイピングに役立つ関数には、次のものがあります:

  • contains()およびstarts-with(): 部分文字列の一致。
  • normalize-space()およびstring-length(): 文字列値に対して動作します。
  • count(): アイテムをカウントします。

例えば、//a[contains(@href, "product")]は、URLに「product」を含むリンクのみを保持します。

関連用語