XPath (ภาษา XML Path) เป็นภาษาที่ใช้ในการแสดงผลของ W3C สำหรับการระบุและเลือกส่วนต่าง ๆ ของเอกสาร XML และยังสามารถนำทางใน HTML ได้ คุณสมบัติที่โดดเด่นคือการแสดงผลแบบเส้นทาง เช่น //a/@href ซึ่งเดินผ่านต้นไม้เอกสารเพื่อเข้าถึงองค์ประกอบ คุณสมบัติ หรือข้อความ เครื่องมือการขูดข้อมูล เช่น Scrapy รองรับ XPath สำหรับการดึงข้อมูลออกจากหน้าที่ดาวน์โหลด
เวอร์ชันปัจจุบันคือ XPath 3.1 ซึ่งกลายเป็นคำแนะนำของ W3C เมื่อวันที่ 21 มีนาคม 2017 มันทำงานบน XML และในเวอร์ชันนี้ ข้อมูล JSON
พื้นฐานไวยากรณ์ XPath
- Path:
//titleเลือกทุกองค์ประกอบtitleที่ใดก็ได้ในเอกสาร - Text:
//title/text()คืนค่าข้อความภายในองค์ประกอบเหล่านั้น - Attributes:
@เลือกคุณสมบัติ ดังนั้น//a/@hrefคืนค่าที่อยู่ลิงก์ - Predicates: วงเล็บสี่เหลี่ยมกรองผลลัพธ์ ดังนั้น
//div[@class="price"]จะเก็บเฉพาะองค์ประกอบdivที่มีชั้นเรียนดังกล่าว
XPath ในการขูดเว็บ
ตัวเลือกของ Scrapy รองรับทั้ง XPath และ CSS และ Scrapy จะแปลคำถาม CSS เป็น XPath ภายในโดยใช้ไลบรารี cssselect ตัวเลือกของมันใช้ไลบรารี lxml ภายใน ในเบราว์เซอร์ XPath สามารถนำทาง DOM ของเอกสาร HTML และ SVG ผ่าน XPathExpression อินเทอร์เฟซ ซึ่งเป็นทางเลือกสำหรับวิธีการเช่น querySelectorAll().
ฟังก์ชัน XPath และ XSLT
XPath ถูกออกแบบมาให้ฝังอยู่ในภาษาผู้โฮสต์ เช่น XSLT W3C กำหนดห้องสมุดฟังก์ชันหนึ่งใน fn เนมสเปซ สำหรับ XPath, XQuery และ XSLT ฟังก์ชันที่มีประโยชน์ในการขูดข้อมูลรวมถึง:
contains()และstarts-with(): การจับคู่ substringnormalize-space()และstring-length(): ทำงานกับค่าข้อความcount(): นับรายการ
ตัวอย่างเช่น //a[contains(@href, "product")] จะเก็บเฉพาะลิงก์ที่ URL มีคำว่า "product".