XPath(XML 路徑語言)是 W3C 的一種表達語言,用於尋址和選擇 XML 文檔中的部分內容,並且也可以導航 HTML。它的定義特徵是路徑表達式,例如 //a/@href,它沿著文檔樹遍歷以到達元素、屬性或文本。像 Scrapy 這樣的抓取工具支持 XPath 以從下載的頁面中提取數據。

當前版本 XPath 3.1 於 2017 年 3 月 21 日成為 W3C 的推薦標準。它適用於 XML,並且在此版本中也支持 JSON 數據。

XPath 語法基礎

  • 路徑: //title 選擇文檔中任何地方的每個 title 元素。
  • 文本: //title/text() 返回這些元素內部的文本。
  • 屬性: @ 選擇一個屬性,因此 //a/@href 返回鏈接目標。
  • 謂詞: 方括號過濾結果,因此 //div[@class="price"] 僅保留具有該類別的 div 元素。

XPath 在網頁抓取中的應用

Scrapy 選擇器接受 XPath 和 CSS,Scrapy 內部使用 cssselect 庫將 CSS 查詢轉換為 XPath。它的選擇器在底層使用 lxml 庫。在瀏覽器中,XPath 可以通過 XPathExpression 接口導航 HTML 和 SVG 文檔的 DOM,作為 querySelectorAll() 等方法的替代方案。

XPath 函數和 XSLT

XPath 設計為可以嵌入到像 XSLT 這樣的主機語言中。W3C 定義了一個函數庫,在 fn 命名空間中,用於 XPath、XQuery 和 XSLT。在抓取中有用的函數包括:

  • contains() 和 starts-with(): 子字符串匹配。
  • normalize-space() 和 string-length(): 在字符串值上工作。
  • count(): 計算項目。

例如,//a[contains(@href, "product")] 僅保留 URL 包含 "product" 的鏈接。

相關術語