XPath (Linguagem de Caminho XML) é uma linguagem de expressão W3C para endereçar e selecionar partes de um documento XML, e também pode navegar em HTML. Sua característica definidora é a expressão de caminho, como //a/@href, que percorre a árvore do documento para alcançar elementos, atributos ou texto. Ferramentas de scraping como Scrapy suportam XPath para extrair dados de páginas baixadas.
A versão atual, XPath 3.1, se tornou uma Recomendação W3C em 21 de março de 2017. Ela funciona em XML e, nesta versão, em dados JSON.
Noções Básicas de Sintaxe XPath
- Caminho:
//titleseleciona cada elementotitleem qualquer lugar do documento. - Texto:
//title/text()retorna o texto dentro desses elementos. - Atributos:
@seleciona um atributo, então//a/@hrefretorna os alvos dos links. - Predicados: Colchetes filtram resultados, então
//div[@class="price"]mantém apenas elementosdivcom essa classe.
XPath em Web Scraping
Seletores Scrapy aceitam tanto XPath quanto CSS, e o Scrapy traduz consultas CSS em XPath internamente usando a biblioteca cssselect. Seus seletores usam a biblioteca lxml por baixo dos panos. Nos navegadores, XPath pode navegar no DOM de documentos HTML e SVG através da interface XPathExpression, como uma alternativa a métodos como querySelectorAll().
Funções XPath e XSLT
XPath é projetado para ser incorporado em uma linguagem host como XSLT. O W3C define uma biblioteca de funções, no namespace fn, para XPath, XQuery e XSLT. Funções úteis em scraping incluem:
contains()estarts-with(): Correspondência de substring.normalize-space()estring-length(): Trabalham com valores de string.count(): Conta itens.
Por exemplo, //a[contains(@href, "product")] mantém apenas links cujo URL contém "produto".