스크래퍼 API는 웹 페이지를 가져와서 하나의 API 호출을 통해 그 내용을 반환하는 호스팅 서비스입니다. 대상 URL을 전송하면 서비스가 프록시, 브라우저 렌더링 및 안티봇 조치를 처리한 후 HTML 또는 구조화된 JSON을 반환합니다. 일부 서비스는 페이지를 제품의 제목 및 가격과 같은 명명된 필드로 구문 분석하기도 합니다.

일부 스크래퍼 API는 요청당 가격이 책정되며 성공적인 응답에 대해서만 요금을 부과합니다. 또한 일부는 내부적으로 차단을 처리하여 합리적인 시간 내에 차단을 피할 수 없는 경우에만 차단 응답을 반환합니다.

스크래퍼 API 요청 작동 방식

  • 요청: API 키와 함께 서비스의 엔드포인트에 대상 URL을 전송합니다. API 키는 서비스에 따라 쿼리 매개변수 또는 HTTP 인증 헤더에 포함됩니다.
  • 옵션: 매개변수를 사용하여 JavaScript 렌더링을 활성화하거나 요청이 발생하는 국가를 선택하거나 여러 요청에 걸쳐 세션을 재사용할 수 있습니다.
  • 응답: 서비스는 원시 HTML, 브라우저 렌더링된 HTML, 스크린샷 또는 추출된 구조화된 데이터를 반환합니다.
  • 비동기 작업: 대량 배치의 경우 일부 서비스는 작업을 수락하고 상태 URL을 반환하여 확인할 수 있으며 결과를 웹훅으로 전송할 수 있습니다.

스크래퍼 API vs. 공식 API

공식 API는 웹사이트 소유자가 프로그래밍 방식으로 접근할 수 있도록 게시한 것입니다. 문서화된 형식으로 데이터를 반환하고 명시적인 제한을 설정합니다. 예를 들어 GitHub의 REST API는 인증되지 않은 사용자에게 시간당 60개의 요청을 허용하고 인증된 사용자에게는 시간당 5,000개의 요청을 허용합니다. 반면 스크래퍼 API는 인간 브라우저를 위해 구축된 페이지에서 작동합니다. 공식 API가 제공하지 않는 공개 데이터에 접근할 수 있습니다.

관련 용어