Ang XPath (XML Path Language) ay isang W3C expression language para sa pagtukoy at pagpili ng mga bahagi ng isang XML document, at maaari rin itong mag-navigate sa HTML. Ang pangunahing tampok nito ay ang path expression, tulad ng //a/@href, na naglalakad sa document tree upang maabot ang mga elemento, katangian o teksto. Ang mga scraping tools tulad ng Scrapy ay sumusuporta sa XPath para sa pagkuha ng data mula sa mga na-download na pahina.

Ang kasalukuyang bersyon, XPath 3.1, ay naging W3C Recommendation noong 21 Marso 2017. Ito ay gumagana sa XML at, sa bersyon na ito, sa JSON data.

Mga Batayang Sintaks ng XPath

  • Path: //title ay pumipili ng bawat title elemento kahit saan sa dokumento.
  • Teksto: //title/text() ay nagbabalik ng teksto sa loob ng mga elementong iyon.
  • Mga Katangian: @ ay pumipili ng isang katangian, kaya //a/@href ay nagbabalik ng mga target ng link.
  • Mga Predikado: Ang mga parisukat na bracket ay nag-filter ng mga resulta, kaya //div[@class="price"] ay nag-iwan lamang ng div mga elemento na may klaseng iyon.

XPath sa Web Scraping

Tinatanggap ng mga selector ng Scrapy ang parehong XPath at CSS, at ang Scrapy ay nagta-translate ng mga CSS query sa XPath sa loob gamit ang cssselect library. Ang mga selector nito ay gumagamit ng lxml library sa likod. Sa mga browser, ang XPath ay maaaring mag-navigate sa DOM ng HTML at SVG documents sa pamamagitan ng XPathExpression interface, bilang alternatibo sa mga pamamaraan tulad ng querySelectorAll().

Mga Function ng XPath at XSLT

Ang XPath ay dinisenyo upang ma-embed sa isang host language tulad ng XSLT. Ang W3C ay nagtatakda ng isang function library, sa fn namespace, para sa XPath, XQuery at XSLT. Ang mga function na kapaki-pakinabang sa scraping ay kinabibilangan ng:

  • contains() at starts-with(): Substring matching.
  • normalize-space() at string-length(): Gumagana sa mga string values.
  • count(): Binibilang ang mga item.

Halimbawa, //a[contains(@href, "product")] ay nag-iwan lamang ng mga link na ang URL ay naglalaman ng "product".

Mga Kaugnay na Termino