XPath (Linguagem de Caminho XML) é uma linguagem de expressão W3C para endereçar e selecionar partes de um documento XML, e também pode navegar em HTML. Sua característica definidora é a expressão de caminho, como //a/@href, que percorre a árvore do documento para alcançar elementos, atributos ou texto. Ferramentas de scraping como Scrapy suportam XPath para extrair dados de páginas baixadas.

A versão atual, XPath 3.1, se tornou uma Recomendação W3C em 21 de março de 2017. Ela funciona em XML e, nesta versão, em dados JSON.

Noções Básicas de Sintaxe XPath

  • Caminho: //title seleciona cada elemento title em qualquer lugar do documento.
  • Texto: //title/text() retorna o texto dentro desses elementos.
  • Atributos: @ seleciona um atributo, então //a/@href retorna os alvos dos links.
  • Predicados: Colchetes filtram resultados, então //div[@class="price"] mantém apenas elementos div com essa classe.

XPath em Web Scraping

Seletores Scrapy aceitam tanto XPath quanto CSS, e o Scrapy traduz consultas CSS em XPath internamente usando a biblioteca cssselect. Seus seletores usam a biblioteca lxml por baixo dos panos. Nos navegadores, XPath pode navegar no DOM de documentos HTML e SVG através da interface XPathExpression, como uma alternativa a métodos como querySelectorAll().

Funções XPath e XSLT

XPath é projetado para ser incorporado em uma linguagem host como XSLT. O W3C define uma biblioteca de funções, no namespace fn, para XPath, XQuery e XSLT. Funções úteis em scraping incluem:

  • contains() e starts-with(): Correspondência de substring.
  • normalize-space() e string-length(): Trabalham com valores de string.
  • count(): Conta itens.

Por exemplo, //a[contains(@href, "product")] mantém apenas links cujo URL contém "produto".

Termos Relacionados