無頭瀏覽器是一種不帶圖形用戶界面的網頁瀏覽器,通過代碼進行控制,但仍然可以加載頁面、執行 JavaScript 並像普通瀏覽器一樣渲染內容。Chrome 和 Firefox 都原生支持無頭模式,並且像 Puppeteer、Playwright 和 Selenium 這樣的庫用於測試、自動化和網頁抓取。

無頭瀏覽器工具及其使用時機

Puppeteer、Playwright 和 Selenium 都提供對導航、點擊、填寫表單和等待動態內容加載的編程控制。Scrapy 的文檔稱重現包含數據的請求是首選方法,並建議在這些請求難以重現時使用無頭瀏覽器。

無頭瀏覽器的用途

抓取僅僅是一種用途。其他用途包括:

  • 自動化測試: 在不打開窗口的情況下運行端到端測試和 JavaScript 庫測試套件。
  • 截圖和 PDF: 無頭 Chrome 可以使用 --screenshot 標誌捕獲頁面或使用 --print-to-pdf 保存它。
  • 無人值守自動化: 在服務器或 CI 管道中運行瀏覽器任務,這些地方沒有顯示。

如何控制無頭瀏覽器

您以無頭模式啟動瀏覽器,然後從腳本發送命令給它。Chrome 使用 --headless 標誌以無頭模式運行。Puppeteer 默認啟動無頭的 Chrome 或 Firefox,並通過 Chrome DevTools 協議或 WebDriver BiDi 進行控制。Selenium 使用 W3C WebDriver 標準。腳本告訴瀏覽器要打開哪些頁面以及在這些頁面上要做什麼,然後讀取結果。

相關術語