XPath (XML Pad Taal) is 'n W3C-uitdrukkings taal vir die adressering en seleksie van dele van 'n XML-dokument, en dit kan ook HTML navigeer. Die definierende kenmerk is die paduitdrukking, soos //a/@href, wat die dokumentboom deurloop om elemente, eienskappe of teks te bereik. Scraping-gereedskap soos Scrapy ondersteun XPath om data uit afgelaaide bladsye te trek.
Die huidige weergawe, XPath 3.1, het op 21 Maart 2017 'n W3C-aanbeveling geword. Dit werk op XML en, in hierdie weergawe, JSON-data.
XPath Sintaksis Basiese Beginsels
- Pad:
//titlekies elketitleelement enige plek in die dokument. - Teks:
//title/text()keer die teks binne daardie elemente terug. - Eienskappe:
@kies 'n eienskap, sodat//a/@hrefskakeldoelwitte teruggee. - Predikate: Vierkantige hakies filter resultate, sodat
//div[@class="price"]netdivelemente met daardie klas hou.
XPath in Web Scraping
Scrapy-keuses aanvaar beide XPath en CSS, en Scrapy vertaal CSS-vrae intern in XPath met behulp van die cssselect-biblioteek. Sy keuses gebruik die lxml-biblioteek onder die motorkap. In blaaiers kan XPath die DOM van HTML en SVG-dokumente deur die XPathExpression koppelvlak navigeer, as 'n alternatief vir metodes soos querySelectorAll().
XPath Funksies en XSLT
XPath is ontwerp om in 'n gasheer taal soos XSLT ingebed te word. Die W3C definieer een funksiebiblioteek, in die fn naamruimte, vir XPath, XQuery en XSLT. Funksies wat nuttig is in scraping sluit in:
contains()enstarts-with(): Substring ooreenstemming.normalize-space()enstring-length(): Werk op stringwaardes.count(): Tel items.
Byvoorbeeld, //a[contains(@href, "product")] hou net skakels waarvan die URL "produk" bevat.