Die Bot-Erkennung ist der Prozess, um festzustellen, ob der Datenverkehr zu einer Website, App oder API von automatisierter Software oder einem Menschen stammt. Sie trennt auch schädliche Bots von legitimen, wie z. B. Suchmaschinen-Crawlern. Erkennungssysteme bewerten Signale aus dem Netzwerk, dem Client und dem Benutzerverhalten. Das Ergebnis entscheidet, ob eine Anfrage erlaubt, herausgefordert oder blockiert wird.

Die Schichten der Bot-Erkennung

  • Netzwerkebene Signale: IP-Reputation, ASN-Filterung
  • Client-Ebene Signale: TLS- und Browser-Fingerabdrücke, Header-Konsistenz
  • Verhaltenssignale: Verhaltens-Telemetrie, sitzungsabhängige Ratenlimits

Eine Anfrage, die eine Schicht passiert, kann dennoch von einer anderen markiert werden.

Einige Signale können gegeneinander überprüft werden. OWASP weist darauf hin, dass Client Hints-Header vom Client deklariert werden, aber gegen dessen TLS-Fingerabdruck verifiziert werden können.

Überprüfung guter Bots

Nicht aller automatisierter Verkehr ist unerwünscht. Suchmaschinen-Crawler beispielsweise rufen Seiten ab, damit sie in den Suchergebnissen erscheinen. Da jeder Bot behaupten kann, ein Crawler in seinem User-Agent zu sein, überprüfen Websites stattdessen die IP-Adresse. Google dokumentiert zwei Möglichkeiten, um Googlebot zu verifizieren:

  • DNS-Überprüfung: Führen Sie eine Reverse-DNS-Abfrage auf der IP durch. Bestätigen Sie, dass der Hostname mit googlebot.com, google.com oder googleusercontent.com endet. Führen Sie dann eine Vorwärtsabfrage durch und bestätigen Sie, dass sie die ursprüngliche IP zurückgibt.
  • IP-Bereiche: Vergleichen Sie die IP mit den Listen der Crawler-IP-Bereiche, die Google in JSON veröffentlicht.

Bedrohungen, die die Bot-Erkennung anvisiert

Das OWASP-Projekt "Automatisierte Bedrohungen für Webanwendungen" nennt 21 automatisierte Bedrohungen. Beispiele sind:

  • Credential Stuffing (OAT-008): Massenanmeldeversuche, die gestohlene Benutzername- und Passwortpaare testen.
  • Scraping (OAT-011): Sammeln von Anwendungsinhalten oder anderen Daten zur Verwendung an anderer Stelle.
  • Scalping (OAT-005): Erhalten von limitierten oder bevorzugten Waren und Dienstleistungen durch unfaire Methoden.
  • Kontenerstellung (OAT-019): Erstellen vieler Konten zur späteren missbräuchlichen Verwendung.

Verwandte Begriffe