XPath(XML 路径语言)是一个 W3C 表达式语言,用于定位和选择 XML 文档的部分内容,同时也可以导航 HTML。它的定义特征是路径表达式,例如 //a/@href,它沿着文档树遍历以到达元素、属性或文本。像 Scrapy 这样的抓取工具支持使用 XPath 从下载的页面中提取数据。

当前版本,XPath 3.1,于 2017 年 3 月 21 日成为 W3C 推荐标准。它适用于 XML,并且在此版本中也支持 JSON 数据。

XPath 语法基础

  • 路径: //title 选择文档中任何位置的每个 title 元素。
  • 文本: //title/text() 返回这些元素内部的文本。
  • 属性: @ 选择一个属性,因此 //a/@href 返回链接目标。
  • 谓词: 方括号过滤结果,因此 //div[@class="price"] 仅保留具有该类的 div 元素。

XPath 在网页抓取中的应用

Scrapy 选择器同时接受 XPath 和 CSS,Scrapy 使用 cssselect 库将 CSS 查询内部转换为 XPath。它的选择器在底层使用 lxml 库。在浏览器中,XPath 可以通过 XPathExpression 接口导航 HTML 和 SVG 文档的 DOM,作为 querySelectorAll() 等方法的替代。

XPath 函数和 XSLT

XPath 设计为嵌入在主语言中,例如 XSLT。W3C 定义了一个函数库,在 fn 命名空间中,用于 XPath、XQuery 和 XSLT。对于抓取有用的函数包括:

  • contains() 和 starts-with(): 子字符串匹配。
  • normalize-space() 和 string-length(): 处理字符串值。
  • count(): 计数项目。

例如,//a[contains(@href, "product")] 仅保留 URL 包含 "product" 的链接。

相关术语