헤드리스 브라우저는 그래픽 사용자 인터페이스 없이 실행되며 코드로 제어되는 웹 브라우저로, 여전히 페이지를 로드하고, JavaScript를 실행하며, 일반 브라우저처럼 콘텐츠를 렌더링합니다. Chrome과 Firefox는 모두 기본적으로 헤드리스 모드를 지원하며, Puppeteer, Playwright, Selenium과 같은 라이브러리가 테스트, 자동화 및 웹 스크래핑을 위해 이를 구동합니다.

헤드리스 브라우저 도구 및 사용 시기

Puppeteer, Playwright 및 Selenium은 각각 탐색, 클릭, 양식 작성 및 동적 콘텐츠 로드를 기다리는 것에 대한 프로그래밍 제어를 제공합니다. Scrapy의 문서에서는 데이터를 포함하는 요청을 재현하는 것이 선호되는 접근 방식이라고 언급하며, 이러한 요청을 재현하기 어려운 경우 헤드리스 브라우저를 제안합니다.

헤드리스 브라우저의 용도

스크래핑은 단 하나의 용도일 뿐입니다. 다른 용도로는:

  • 자동화 테스트: 창을 열지 않고 엔드 투 엔드 테스트 및 JavaScript 라이브러리 테스트 스위트를 실행합니다.
  • 스크린샷 및 PDF: 헤드리스 Chrome은 --screenshot 플래그로 페이지를 캡처하거나 --print-to-pdf로 저장할 수 있습니다.
  • 무인 자동화: 디스플레이가 없는 서버나 CI 파이프라인에서 브라우저 작업을 실행합니다.

헤드리스 브라우저 제어 방법

헤드리스 모드에서 브라우저를 시작한 후 스크립트에서 명령을 보냅니다. Chrome은 --headless 플래그로 헤드리스 모드에서 실행됩니다. Puppeteer는 기본적으로 Chrome 또는 Firefox를 헤드리스 모드로 시작하고 Chrome DevTools 프로토콜 또는 WebDriver BiDi를 통해 제어합니다. Selenium은 W3C WebDriver 표준을 사용합니다. 스크립트는 브라우저에 어떤 페이지를 열고 무엇을 할지 지시한 다음 결과를 다시 읽습니다.

관련 용어