XPath (XML Path Language) ist eine W3C-Ausdruckssprache zum Adressieren und Auswählen von Teilen eines XML-Dokuments, und sie kann auch HTML navigieren. Ihr bestimmendes Merkmal ist der Pfadausdruck, wie //a/@href, der den Dokumentbaum durchläuft, um Elemente, Attribute oder Text zu erreichen. Scraping-Tools wie Scrapy unterstützen XPath, um Daten aus heruntergeladenen Seiten zu extrahieren.
Die aktuelle Version, XPath 3.1, wurde am 21. März 2017 eine W3C-Empfehlung. Sie funktioniert mit XML und in dieser Version auch mit JSON-Daten.
Grundlagen der XPath-Syntax
- Pfad:
//titlewählt jedestitle-Element überall im Dokument aus. - Text:
//title/text()gibt den Text innerhalb dieser Elemente zurück. - Attribute:
@wählt ein Attribut aus, sodass//a/@hrefdie Linkziele zurückgibt. - Prädikate: Eckige Klammern filtern Ergebnisse, sodass
//div[@class="price"]nurdiv-Elemente mit dieser Klasse beibehält.
XPath im Web Scraping
Scrapy-Selektoren akzeptieren sowohl XPath als auch CSS, und Scrapy übersetzt CSS-Abfragen intern in XPath mithilfe der cssselect-Bibliothek. Seine Selektoren verwenden die lxml-Bibliothek im Hintergrund. In Browsern kann XPath das DOM von HTML- und SVG-Dokumenten über die XPathExpression-Schnittstelle navigieren, als Alternative zu Methoden wie querySelectorAll().
XPath-Funktionen und XSLT
XPath ist so konzipiert, dass es in eine Hostsprache wie XSLT eingebettet werden kann. Die W3C definiert eine Funktionsbibliothek im fn-Namensraum für XPath, XQuery und XSLT. Nützliche Funktionen beim Scraping sind:
contains()undstarts-with(): Teilzeichenfolgenabgleich.normalize-space()undstring-length(): Arbeiten mit Zeichenfolgenwerten.count(): Zählt Elemente.
Zum Beispiel behält //a[contains(@href, "product")] nur Links bei, deren URL "product" enthält.