Web Scraping ist die automatisierte Datenextraktion von Websites: Ein Programm fordert Seiten an, analysiert das zurückgegebene HTML oder JSON und speichert spezifische Felder, wie Preise oder Angebote, in einem strukturierten Format. Es unterscheidet sich vom Web Crawling, das Links folgt, um Seiten zu entdecken und zu indizieren; Scraping zieht spezifische Daten aus den abgerufenen Seiten heraus.
Ein einfacher Scraper sendet eine HTTP-Anfrage an eine Ziel-URL, erhält das rohe HTML (oder JSON, für API-basierte Seiten) und extrahiert die benötigten spezifischen Datenpunkte: Produktpreise, Suchrankings, Kontaktinformationen und Ähnliches. In großem Maßstab stößt Scraping auf Ratenlimits, die festlegen, wie viele Anfragen eine einzelne IP-Adresse in einem bestimmten Zeitfenster stellen kann.
Arten von Web Scraping-Tools
- Code-Bibliotheken: Skripte, die HTTP-Anfragen senden und das HTML analysieren, zum Beispiel Python mit einem HTML-Parser.
- Browser-Automatisierung: Tools wie Selenium oder Playwright laden die vollständige Seite, einschließlich mit JavaScript erstelltem Inhalt, und extrahieren dann Daten aus dem gerenderten DOM.
- Offizielle APIs: Wo eine Website eine anbietet, gibt sie strukturierte Daten direkt zurück, ohne HTML-Parsing.
Häufige Anti-Scraping-Maßnahmen
Neben Ratenlimits verwenden Websites andere Methoden, um Scraper zu erkennen und zu verlangsamen:
- CAPTCHAs, die den Besucher auffordern, zu beweisen, dass er ein Mensch ist.
- robots.txt-Dateien, die angeben, auf welche Pfade automatisierte Crawler zugreifen dürfen.
- Honeypots: Versteckte Links, die menschliche Besucher niemals sehen oder anklicken, die verwendet werden, um Bots zu identifizieren und zu kennzeichnen.
- Geräte-Fingerprinting, das einen Browser oder ein Gerät anhand seiner Merkmale erneut identifizieren kann, selbst nachdem Cookies gelöscht wurden oder wenn ein VPN verwendet wird.