웹 스크래핑은 웹사이트에서 데이터를 자동으로 추출하는 과정입니다: 프로그램이 페이지를 요청하고, 반환된 HTML 또는 JSON을 파싱한 후, 가격이나 목록과 같은 특정 필드를 구조화된 형식으로 저장합니다. 이는 링크를 따라 페이지를 발견하고 색인화하는 웹 크롤링과는 다릅니다; 스크래핑은 가져온 페이지에서 특정 데이터를 추출합니다.

기본 스크래퍼는 대상 URL에 HTTP 요청을 보내고, 원시 HTML(또는 API 기반 사이트의 경우 JSON)을 수신한 후, 필요한 특정 데이터 포인트를 파싱합니다: 제품 가격, 검색 순위, 연락처 정보 등입니다. 대규모로 스크래핑을 수행할 경우, 요청 수를 제한하는 속도 제한에 직면하게 되며, 이는 단일 IP 주소가 주어진 시간 창에서 수행할 수 있는 요청 수를 제한합니다.

웹 스크래핑 도구의 유형

  • 코드 라이브러리: HTTP 요청을 보내고 HTML을 파싱하는 스크립트, 예를 들어 HTML 파서를 사용하는 Python.
  • 브라우저 자동화: Selenium 또는 Playwright와 같은 도구가 전체 페이지를 로드하고, JavaScript로 생성된 콘텐츠를 포함하여 렌더링된 DOM에서 데이터를 추출합니다.
  • 공식 API: 사이트에서 제공하는 경우, HTML 파싱 없이 구조화된 데이터를 직접 반환합니다.

일반적인 반 스크래핑 조치

속도 제한 외에도, 사이트는 스크래퍼를 감지하고 지연시키기 위해 다른 방법을 사용합니다:

  • CAPTCHA: 방문자에게 자신이 인간임을 증명하도록 요청합니다.
  • robots.txt 파일: 자동 크롤러가 접근할 수 있는 경로를 명시합니다.
  • 허니팟: 인간 방문자는 결코 보거나 클릭하지 않는 숨겨진 링크로, 봇을 식별하고 지문을 찍는 데 사용됩니다.
  • 디바이스 지문 인식: 쿠키가 삭제되거나 VPN이 사용되더라도 브라우저나 디바이스의 특성으로부터 재식별할 수 있습니다.

관련 용어