XPath (Ngôn ngữ Đường dẫn XML) là một ngôn ngữ biểu thức W3C dùng để xác định và chọn các phần của tài liệu XML, và nó cũng có thể điều hướng HTML. Đặc điểm nổi bật của nó là biểu thức đường dẫn, chẳng hạn như //a/@href, mà đi qua cây tài liệu để đến các phần tử, thuộc tính hoặc văn bản. Các công cụ thu thập dữ liệu như Scrapy hỗ trợ XPath để lấy dữ liệu từ các trang đã tải xuống.
Phiên bản hiện tại, XPath 3.1, đã trở thành Khuyến nghị W3C vào ngày 21 tháng 3 năm 2017. Nó hoạt động trên XML và, trong phiên bản này, dữ liệu JSON.
Cơ Bản Về Cú Pháp XPath
- Đường dẫn:
//titlechọn mọi phần tửtitleở bất kỳ đâu trong tài liệu. - Văn bản:
//title/text()trả về văn bản bên trong các phần tử đó. - Thuộc tính:
@chọn một thuộc tính, vì vậy//a/@hreftrả về các mục tiêu liên kết. - Điều kiện: Dấu ngoặc vuông lọc kết quả, vì vậy
//div[@class="price"]chỉ giữ lại các phần tửdivvới lớp đó.
XPath Trong Thu Thập Dữ Liệu Web
Các bộ chọn Scrapy chấp nhận cả XPath và CSS, và Scrapy chuyển đổi các truy vấn CSS thành XPath nội bộ bằng cách sử dụng thư viện cssselect. Các bộ chọn của nó sử dụng thư viện lxml bên dưới. Trong các trình duyệt, XPath có thể điều hướng DOM của tài liệu HTML và SVG thông qua giao diện XPathExpression, như một sự thay thế cho các phương pháp như querySelectorAll().
Các Hàm XPath và XSLT
XPath được thiết kế để được nhúng trong một ngôn ngữ chủ như XSLT. W3C định nghĩa một thư viện hàm, trong không gian tên fn, cho XPath, XQuery và XSLT. Các hàm hữu ích trong việc thu thập dữ liệu bao gồm:
contains()vàstarts-with(): So khớp chuỗi con.normalize-space()vàstring-length(): Làm việc trên các giá trị chuỗi.count(): Đếm các mục.
Ví dụ, //a[contains(@href, "product")] chỉ giữ lại các liên kết mà URL của chúng chứa "product".