XPath (XML Path Language) ist eine W3C-Ausdruckssprache zum Adressieren und Auswählen von Teilen eines XML-Dokuments, und sie kann auch HTML navigieren. Ihr bestimmendes Merkmal ist der Pfadausdruck, wie //a/@href, der den Dokumentbaum durchläuft, um Elemente, Attribute oder Text zu erreichen. Scraping-Tools wie Scrapy unterstützen XPath, um Daten aus heruntergeladenen Seiten zu extrahieren.

Die aktuelle Version, XPath 3.1, wurde am 21. März 2017 eine W3C-Empfehlung. Sie funktioniert mit XML und in dieser Version auch mit JSON-Daten.

Grundlagen der XPath-Syntax

  • Pfad: //title wählt jedes title-Element überall im Dokument aus.
  • Text: //title/text() gibt den Text innerhalb dieser Elemente zurück.
  • Attribute: @ wählt ein Attribut aus, sodass //a/@href die Linkziele zurückgibt.
  • Prädikate: Eckige Klammern filtern Ergebnisse, sodass //div[@class="price"] nur div-Elemente mit dieser Klasse beibehält.

XPath im Web Scraping

Scrapy-Selektoren akzeptieren sowohl XPath als auch CSS, und Scrapy übersetzt CSS-Abfragen intern in XPath mithilfe der cssselect-Bibliothek. Seine Selektoren verwenden die lxml-Bibliothek im Hintergrund. In Browsern kann XPath das DOM von HTML- und SVG-Dokumenten über die XPathExpression-Schnittstelle navigieren, als Alternative zu Methoden wie querySelectorAll().

XPath-Funktionen und XSLT

XPath ist so konzipiert, dass es in eine Hostsprache wie XSLT eingebettet werden kann. Die W3C definiert eine Funktionsbibliothek im fn-Namensraum für XPath, XQuery und XSLT. Nützliche Funktionen beim Scraping sind:

  • contains() und starts-with(): Teilzeichenfolgenabgleich.
  • normalize-space() und string-length(): Arbeiten mit Zeichenfolgenwerten.
  • count(): Zählt Elemente.

Zum Beispiel behält //a[contains(@href, "product")] nur Links bei, deren URL "product" enthält.

Verwandte Begriffe