无头浏览器是一种没有图形用户界面的网页浏览器,由代码控制,但仍然能够加载页面、执行 JavaScript 并像普通浏览器一样渲染内容。Chrome 和 Firefox 都原生支持无头模式,像 Puppeteer、Playwright 和 Selenium 这样的库用于测试、自动化和网页抓取。
无头浏览器工具及其使用时机
Puppeteer、Playwright 和 Selenium 各自提供对导航、点击、表单填写和等待动态内容加载的编程控制。Scrapy 的文档称,重现包含数据的请求是首选方法,并建议在这些请求难以重现时使用无头浏览器。
无头浏览器的用途
抓取只是其中一种用途。其他用途包括:
- 自动化测试: 在不打开窗口的情况下运行端到端测试和 JavaScript 库测试套件。
- 截图和 PDF: 无头 Chrome 可以使用
--screenshot标志捕获页面或使用--print-to-pdf保存页面。 - 无人值守自动化: 在没有显示器的服务器或 CI 管道上运行浏览器任务。
如何控制无头浏览器
您以无头模式启动浏览器,然后从脚本发送命令。Chrome 使用 --headless 标志以无头模式运行。Puppeteer 默认启动无头的 Chrome 或 Firefox,并通过 Chrome DevTools 协议或 WebDriver BiDi 控制它。Selenium 使用 W3C WebDriver 标准。脚本告诉浏览器打开哪些页面以及在这些页面上执行什么操作,然后读取结果。