Ein Headless-Browser ist ein Webbrowser, der ohne grafische Benutzeroberfläche läuft und durch Code gesteuert wird, dabei jedoch Seiten lädt, JavaScript ausführt und Inhalte wie ein normaler Browser rendert. Chrome und Firefox unterstützen den Headless-Modus nativ, und Bibliotheken wie Puppeteer, Playwright und Selenium steuern ihn für Tests, Automatisierung und Web-Scraping.
Headless-Browser-Tools und wann man sie verwenden sollte
Puppeteer, Playwright und Selenium bieten jeweils programmgesteuerte Kontrolle über Navigation, Klicken, Ausfüllen von Formularen und Warten auf das Laden dynamischer Inhalte. Die Dokumentation von Scrapy bezeichnet das Reproduzieren der Anfragen, die die Daten enthalten, als bevorzugten Ansatz und schlägt einen Headless-Browser vor, wenn diese Anfragen schwer zu reproduzieren sind.
Wofür Headless-Browser verwendet werden
Scraping ist nur eine Verwendung. Weitere sind:
- Automatisierte Tests: Ausführen von End-to-End-Tests und Test-Suiten für JavaScript-Bibliotheken, ohne ein Fenster zu öffnen.
- Screenshots und PDFs: Headless Chrome kann eine Seite mit dem
--screenshot-Flag erfassen oder sie mit--print-to-pdfspeichern. - Unbeaufsichtigte Automatisierung: Ausführen von Browseraufgaben auf Servern oder in CI-Pipelines, wo es keine Anzeige gibt.
Wie ein Headless-Browser gesteuert wird
Sie starten den Browser im Headless-Modus und senden ihm dann Befehle aus einem Skript. Chrome läuft headless mit dem --headless-Flag. Puppeteer startet Chrome oder Firefox standardmäßig headless und steuert ihn über das Chrome DevTools-Protokoll oder WebDriver BiDi. Selenium verwendet den W3C WebDriver-Standard. Das Skript sagt dem Browser, welche Seiten zu öffnen sind und was auf ihnen zu tun ist, und liest dann das Ergebnis zurück.