데이터 파싱은 HTML, JSON 또는 XML과 같은 원시 스크랩된 콘텐츠에서 구조화된 사용 가능한 정보를 추출하고 이를 스프레드시트나 데이터베이스 레코드와 같은 깔끔한 형식으로 변환하는 과정입니다. 파싱은 원시 스크랩된 웹페이지를 실제 사용 가능한 데이터로 변환하는 단계입니다.

일반적인 파싱 접근법

  • HTML 파싱 라이브러리 (예: BeautifulSoup 또는 Cheerio), 특정 요소를 추출하기 위해 페이지의 DOM 구조를 탐색합니다.
  • CSS 선택자 또는 XPath 쿼리, 태그, 속성 또는 문서 트리에서의 위치에 따라 요소를 타겟팅합니다.

잘못된 HTML 파싱

실제 페이지는 종종 유효하지 않은 마크업을 포함하고 있으며, 파서가 이를 수정하는 방식은 다릅니다. Beautiful Soup의 문서에서는 입력 <a></p>이 Python의 html.parser에서 <a></a>로, lxml에서 <html><body><a></a></body></html>로, html5lib에서 <html><head></head><body><a><p></p></a></body></html>로 변환되는 과정을 보여줍니다. 이 문서에서는 코드가 모든 기계에서 동일한 결과를 제공하도록 파서를 명시적으로 지정할 것을 권장합니다.

JSON 파싱

JSON 응답은 마크업으로 검색되는 것이 아니라 객체로 직접 파싱됩니다. JavaScript에서는 JSON.parse()가 JSON 문자열이 설명하는 값을 생성하고, 문자열이 유효한 JSON이 아닐 경우 SyntaxError를 발생시킵니다. 예를 들어, 문자열에 후행 쉼표가 있거나 단일 인용 문자열이 포함된 경우입니다.

관련 용어