ヘッドレスブラウザは、グラフィカルユーザーインターフェースなしで動作し、コードによって制御されるウェブブラウザですが、通常のブラウザのようにページを読み込み、JavaScriptを実行し、コンテンツをレンダリングします。ChromeとFirefoxはどちらもネイティブにヘッドレスモードをサポートしており、Puppeteer、Playwright、およびSeleniumなどのライブラリがテスト、自動化、ウェブスクレイピングのためにそれを駆動します。
ヘッドレスブラウザツールと使用するタイミング
Puppeteer、Playwright、Seleniumはそれぞれ、ナビゲーション、クリック、フォームの入力、動的コンテンツの読み込みを待つためのプログラムによる制御を提供します。Scrapyのドキュメントでは、データを含むリクエストを再現することが推奨されるアプローチとされており、それらのリクエストが再現しにくい場合にはヘッドレスブラウザを提案しています。
ヘッドレスブラウザの使用目的
スクレイピングはその一例に過ぎません。他の用途には以下が含まれます:
- 自動テスト: ウィンドウを開かずにエンドツーエンドテストやJavaScriptライブラリのテストスイートを実行します。
- スクリーンショットとPDF: ヘッドレスChromeは、
--screenshotフラグを使用してページをキャプチャしたり、--print-to-pdfで保存したりできます。 - 無人自動化: ディスプレイがないサーバーやCIパイプラインでブラウザタスクを実行します。
ヘッドレスブラウザの制御方法
ヘッドレスモードでブラウザを起動し、スクリプトからコマンドを送信します。Chromeは--headlessフラグを使用してヘッドレスで実行されます。PuppeteerはデフォルトでChromeまたはFirefoxをヘッドレスで起動し、Chrome DevToolsプロトコルまたはWebDriver BiDiを介して制御します。SeleniumはW3C WebDriver標準を使用します。スクリプトはブラウザにどのページを開くか、何をするかを指示し、その結果を読み取ります。