XPath(XML 路徑語言)是 W3C 的一種表達語言,用於尋址和選擇 XML 文檔的部分內容,並且也可以導航 HTML。它的定義特徵是路徑表達式,例如 //a/@href,它沿著文檔樹走向元素、屬性或文本。像 Scrapy 這樣的抓取工具支持 XPath 來提取下載頁面中的數據。
當前版本,XPath 3.1,於 2017 年 3 月 21 日成為 W3C 的推薦標準。它在 XML 上運行,並且在此版本中,也支持 JSON 數據。
XPath 語法基礎
- 路徑:
//title選擇文檔中任何地方的每個title元素。 - 文本:
//title/text()返回這些元素內部的文本。 - 屬性:
@選擇一個屬性,因此//a/@href返回鏈接目標。 - 謂詞: 方括號過濾結果,因此
//div[@class="price"]僅保留具有該類別的div元素。
XPath 在網頁抓取中的應用
Scrapy 選擇器接受 XPath 和 CSS,Scrapy 內部使用 cssselect 庫將 CSS 查詢轉換為 XPath。它的選擇器在底層使用 lxml 庫。在瀏覽器中,XPath 可以通過 XPathExpression 接口導航 HTML 和 SVG 文檔的 DOM,作為 querySelectorAll() 等方法的替代。
XPath 函數和 XSLT
XPath 設計為可以嵌入到主機語言中,例如 XSLT。W3C 定義了一個函數庫,在 fn 命名空間中,供 XPath、XQuery 和 XSLT 使用。在抓取中有用的函數包括:
contains()和starts-with(): 子字符串匹配。normalize-space()和string-length(): 在字符串值上運作。count(): 計算項目。
例如,//a[contains(@href, "product")] 僅保留 URL 包含 "product" 的鏈接。