XPath(XML 路径语言)是一个 W3C 表达式语言,用于定位和选择 XML 文档的部分内容,同时也可以导航 HTML。它的定义特征是路径表达式,例如 //a/@href,它沿着文档树遍历以到达元素、属性或文本。像 Scrapy 这样的抓取工具支持使用 XPath 从下载的页面中提取数据。
当前版本,XPath 3.1,于 2017 年 3 月 21 日成为 W3C 推荐标准。它适用于 XML,并且在此版本中也支持 JSON 数据。
XPath 语法基础
- 路径:
//title选择文档中任何位置的每个title元素。 - 文本:
//title/text()返回这些元素内部的文本。 - 属性:
@选择一个属性,因此//a/@href返回链接目标。 - 谓词: 方括号过滤结果,因此
//div[@class="price"]仅保留具有该类的div元素。
XPath 在网页抓取中的应用
Scrapy 选择器同时接受 XPath 和 CSS,Scrapy 使用 cssselect 库将 CSS 查询内部转换为 XPath。它的选择器在底层使用 lxml 库。在浏览器中,XPath 可以通过 XPathExpression 接口导航 HTML 和 SVG 文档的 DOM,作为 querySelectorAll() 等方法的替代。
XPath 函数和 XSLT
XPath 设计为嵌入在主语言中,例如 XSLT。W3C 定义了一个函数库,在 fn 命名空间中,用于 XPath、XQuery 和 XSLT。对于抓取有用的函数包括:
contains()和starts-with(): 子字符串匹配。normalize-space()和string-length(): 处理字符串值。count(): 计数项目。
例如,//a[contains(@href, "product")] 仅保留 URL 包含 "product" 的链接。