Ethisches Web-Scraping bedeutet, öffentlich verfügbare Webdaten auf eine Weise zu sammeln, die die angegebenen Zugriffsregeln einer Website respektiert, eine Überlastung ihrer Server vermeidet und innerhalb der geltenden rechtlichen und datenschutzrechtlichen Grenzen bleibt.
Grundlegende Praktiken für ethisches Scraping
- Respektierung von
robots.txt-Richtlinien, wo dies angemessen ist - Drosselung von Anfragen, um eine Überlastung der Zielserver zu vermeiden
- Vermeidung der Erfassung persönlicher Daten ohne eine klare rechtliche Grundlage
- Überprüfung der Nutzungsbedingungen einer Website vor einer großflächigen Erfassung
RFC 9309 beschreibt die Regeln von robots.txt als Regeln, die von Crawlern respektiert werden sollen. Es wird auch gesagt, dass sie keine Form der Zugriffsautorisierung darstellen.
Die Drosselung von Anfragen dient nicht nur dazu, eine Entdeckung zu vermeiden. Sie reduziert auch die Belastung, die auf den Servern der Zielwebsite liegt. In US-Fällen haben Gerichte berücksichtigt, wie stark der automatisierte Zugriff das System des Website-Besitzers negativ beeinflusst.