웹 언락커는 CAPTCHA, 브라우저 지문, 재시도 및 프록시 선택과 같은 안티 봇 조치를 처리하는 관리형 스크래핑 서비스로, 단일 엔드포인트를 통해 대상 페이지를 반환합니다. 헤더를 조정하고 IP를 직접 회전시키는 대신 요청을 보내면 서비스가 성공적인 응답을 얻는 방법을 처리합니다.
일부 제공업체는 같은 범주를 "웹 언블로커"라고 부릅니다. 이 범주의 서비스는 사용자 정의 요청 헤더에서 옵션을 전달하거나 REST API를 통해 프록시 엔드포인트로 사용할 수 있습니다.
웹 언락커가 처리하는 것
- CAPTCHA 및 챌린지: 서비스는 CAPTCHA 및 안티 봇 챌린지를 자동으로 해결합니다.
- 헤더 및 지문: 실제 사용자 트래픽에 맞게 요청 헤더 및 브라우저 지문을 설정합니다.
- 재시도: 실패한 시도는 요청이 성공하거나 서비스가 포기할 때까지 다양한 구성으로 재시도됩니다.
- 프록시 선택 및 회전: 각 대상에 사용되는 프록시를 선택하고 회전합니다.
- JavaScript 렌더링: 일부 서비스는 요청 시 JavaScript를 렌더링할 수 있습니다. 예를 들어 요청 헤더를 통해 가능합니다.
웹 언락커와 표준 프록시의 차이
표준 프록시는 요청을 전달하고 탐지 처리를 사용자에게 맡깁니다. 웹 언락커는 프록시 네트워크 위에 안티 봇 로직을 추가합니다. 일부 서비스는 성공적인 응답을 반환하는 요청에 대해서만 요금을 부과합니다.
출력 및 제한
- 출력: 서비스는 일반적으로 원시 HTML로 대상 페이지를 반환합니다. 일부 서비스는 형식 옵션을 설정하면 JSON을 반환할 수 있습니다.
- 브라우저 자동화 없음: 웹 언락커는 클릭, 양식 작성 또는 Playwright, Selenium 또는 Puppeteer와 같은 헤드리스 브라우저를 엔드포인트를 통해 구동하기 위해 설계되지 않았습니다.
- 인증서 확인: 프록시 엔드포인트로 사용될 때 일부 서비스는 클라이언트가 해당 엔드포인트에 대한 TLS 인증서 검증을 건너뛰도록 요구합니다.