XPath(XML路径语言)是一个W3C表达式语言,用于定位和选择XML文档的部分内容,也可以用于导航HTML。它的定义特征是路径表达式,例如//a/@href,该表达式遍历文档树以到达元素、属性或文本。像Scrapy这样的抓取工具支持XPath从下载的页面中提取数据。
当前版本XPath 3.1于2017年3月21日成为W3C推荐标准。它适用于XML,并且在此版本中支持JSON数据。
XPath语法基础
- 路径:
//title选择文档中任何位置的每个title元素。 - 文本:
//title/text()返回这些元素内部的文本。 - 属性:
@选择一个属性,因此//a/@href返回链接目标。 - 谓词: 方括号过滤结果,因此
//div[@class="price"]仅保留具有该类的div元素。
XPath在网页抓取中的应用
Scrapy选择器同时接受XPath和CSS,Scrapy使用cssselect库将CSS查询内部转换为XPath。其选择器在底层使用lxml库。在浏览器中,XPath可以通过XPathExpression接口导航HTML和SVG文档的DOM,作为querySelectorAll()等方法的替代。
XPath函数和XSLT
XPath设计为嵌入到主语言中,例如XSLT。W3C为XPath、XQuery和XSLT定义了一个函数库,在fn命名空间中。对于抓取有用的函数包括:
contains()和starts-with(): 子字符串匹配。normalize-space()和string-length(): 处理字符串值。count(): 计数项目。
例如,//a[contains(@href, "product")]仅保留URL包含“product”的链接。