XPath (XML 경로 언어)는 XML 문서의 일부를 주소 지정하고 선택하기 위한 W3C 표현 언어이며, HTML을 탐색할 수도 있습니다. 그것의 정의적 특징은 //a/@href과 같은 경로 표현식으로, 문서 트리를 탐색하여 요소, 속성 또는 텍스트에 도달합니다. Scrapy와 같은 스크래핑 도구는 다운로드된 페이지에서 데이터를 추출하기 위해 XPath를 지원합니다.
현재 버전인 XPath 3.1은 2017년 3월 21일 W3C 권장 사항이 되었습니다. 이 버전은 XML에서 작동하며, JSON 데이터에서도 작동합니다.
XPath 구문 기초
- 경로:
//title는 문서 어디에서나 모든title요소를 선택합니다. - 텍스트:
//title/text()는 해당 요소 내부의 텍스트를 반환합니다. - 속성:
@는 속성을 선택하므로//a/@href은 링크 대상을 반환합니다. - 조건: 대괄호는 결과를 필터링하므로
//div[@class="price"]은 해당 클래스가 있는div요소만 유지합니다.
웹 스크래핑에서의 XPath
Scrapy 선택기는 XPath와 CSS를 모두 수용하며, Scrapy는 cssselect 라이브러리를 사용하여 CSS 쿼리를 내부적으로 XPath로 변환합니다. 그 선택기는 내부적으로 lxml 라이브러리를 사용합니다. 브라우저에서 XPath는 XPathExpression 인터페이스를 통해 HTML 및 SVG 문서의 DOM을 탐색할 수 있으며, querySelectorAll()과 같은 방법의 대안으로 사용됩니다.
XPath 함수 및 XSLT
XPath는 XSLT와 같은 호스트 언어에 내장되도록 설계되었습니다. W3C는 XPath, XQuery 및 XSLT를 위한 fn 네임스페이스에 하나의 함수 라이브러리를 정의합니다. 스크래핑에 유용한 함수는 다음과 같습니다:
contains()및starts-with(): 부분 문자열 일치.normalize-space()및string-length(): 문자열 값에서 작동합니다.count(): 항목 수를 셉니다.
예를 들어, //a[contains(@href, "product")]은 URL에 "product"가 포함된 링크만 유지합니다.