Ein User-Agent ist ein HTTP-Anforderungsheader, der es Servern ermöglicht, die Anwendung, das Betriebssystem, den Anbieter und die Version des Clients, der die Anfrage stellt, zu identifizieren. Die W3C listet den User-Agent-Header als passive Fingerprinting-Quelle, da er mit HTTP-Anfragen gesendet wird.

Eine typische User-Agent-Zeichenfolge sieht aus wie Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36..., die eine bestimmte Browser-Version und Plattform identifiziert.

Die W3C stellt fest, dass der User-Agent und die IP-Adresse zusammen oft einen bestimmten Benutzerbrowser eindeutig identifizieren.

Reduzierung des User-Agents und Client-Hinweise

  • Reduzierte Zeichenfolgen: Chrome friert jetzt Teile seines User-Agents ein. Die Minor-Version wird als 0.0.0 angezeigt, Desktop-Plattformen verwenden feste Tokens wie Windows NT 10.0; Win64; x64, und Android meldet Android 10; K, unabhängig von der tatsächlichen OS-Version und dem Gerätemodell. Der Android-Rollout erreichte im Mai 2023 alle Chrome 110+ Benutzer.
  • Client-Hinweise: Browser können standardmäßig Low-Detail-Header wie Sec-CH-UA (Hauptversion und Marke), Sec-CH-UA-Mobile und Sec-CH-UA-Platform senden. Ein Server fordert detailliertere Hinweise, wie das Gerätemodell, mit dem Accept-CH Antwortheader an. MDN sagt, dass Client-Hinweise letztendlich das Parsen der User-Agent-Zeichenfolge ersetzen sollen.

Überprüfung von Bots, die einen User-Agent beanspruchen

Eine Anfrage kann in ihrem User-Agent-Header behaupten, jeder Crawler zu sein. Für Besucher, die behaupten, von Google zu sein, rät Google den Website-Besitzern, eine umgekehrte DNS-Abfrage der IP-Adresse durchzuführen, zu überprüfen, ob die Domain googlebot.com, google.com oder googleusercontent.com ist, und dann mit einer Vorwärtsabfrage zu bestätigen. Für großangelegte Überprüfungen können sie die IP mit den veröffentlichten Crawler-IP-Bereichen von Google vergleichen.

Verwandte Begriffe