Ein User-Agent ist ein HTTP-Anforderungsheader, der es Servern ermöglicht, die Anwendung, das Betriebssystem, den Anbieter und die Version des Clients, der die Anfrage stellt, zu identifizieren. Die W3C listet den User-Agent-Header als passive Fingerprinting-Quelle, da er mit HTTP-Anfragen gesendet wird.
Eine typische User-Agent-Zeichenfolge sieht aus wie Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36..., die eine bestimmte Browser-Version und Plattform identifiziert.
Die W3C stellt fest, dass der User-Agent und die IP-Adresse zusammen oft einen bestimmten Benutzerbrowser eindeutig identifizieren.
Reduzierung des User-Agents und Client-Hinweise
- Reduzierte Zeichenfolgen: Chrome friert jetzt Teile seines User-Agents ein. Die Minor-Version wird als
0.0.0angezeigt, Desktop-Plattformen verwenden feste Tokens wieWindows NT 10.0; Win64; x64, und Android meldetAndroid 10; K, unabhängig von der tatsächlichen OS-Version und dem Gerätemodell. Der Android-Rollout erreichte im Mai 2023 alle Chrome 110+ Benutzer. - Client-Hinweise: Browser können standardmäßig Low-Detail-Header wie
Sec-CH-UA(Hauptversion und Marke),Sec-CH-UA-MobileundSec-CH-UA-Platformsenden. Ein Server fordert detailliertere Hinweise, wie das Gerätemodell, mit demAccept-CHAntwortheader an. MDN sagt, dass Client-Hinweise letztendlich das Parsen der User-Agent-Zeichenfolge ersetzen sollen.
Überprüfung von Bots, die einen User-Agent beanspruchen
Eine Anfrage kann in ihrem User-Agent-Header behaupten, jeder Crawler zu sein. Für Besucher, die behaupten, von Google zu sein, rät Google den Website-Besitzern, eine umgekehrte DNS-Abfrage der IP-Adresse durchzuführen, zu überprüfen, ob die Domain googlebot.com, google.com oder googleusercontent.com ist, und dann mit einer Vorwärtsabfrage zu bestätigen. Für großangelegte Überprüfungen können sie die IP mit den veröffentlichten Crawler-IP-Bereichen von Google vergleichen.