User-Agent adalah header permintaan HTTP yang memungkinkan server mengidentifikasi aplikasi, sistem operasi, vendor, dan versi klien yang membuat permintaan. W3C mencantumkan header User-Agent sebagai sumber sidik jari pasif, karena dikirim bersama permintaan HTTP.
String User-Agent yang khas terlihat seperti Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36..., yang mengidentifikasi versi browser dan platform tertentu.
W3C mencatat bahwa User-Agent dan alamat IP bersama-sama sering kali secara unik mengidentifikasi browser pengguna tertentu.
Pengurangan User-Agent dan Petunjuk Klien
- String yang Diperpendek: Chrome sekarang membekukan bagian dari User-Agent-nya. Versi minor ditampilkan sebagai
0.0.0, platform desktop menggunakan token tetap sepertiWindows NT 10.0; Win64; x64, dan Android melaporkanAndroid 10; Kterlepas dari versi OS dan model perangkat yang sebenarnya. Peluncuran Android mencapai semua pengguna Chrome 110+ pada Mei 2023. - Petunjuk Klien: Browser dapat mengirim header dengan detail rendah seperti
Sec-CH-UA(versi utama dan merek),Sec-CH-UA-MobiledanSec-CH-UA-Platformsecara default. Server meminta petunjuk yang lebih rinci, seperti model perangkat, dengan header responsAccept-CH. MDN mengatakan petunjuk klien diharapkan pada akhirnya menggantikan pemrosesan string User-Agent.
Memverifikasi Bot yang Mengklaim User-Agent
Sebuah permintaan dapat mengklaim sebagai crawler mana pun dalam header User-Agent-nya. Untuk pengunjung yang mengklaim berasal dari Google, Google memberi tahu pemilik situs untuk menjalankan pencarian DNS terbalik pada alamat IP, memeriksa bahwa domain adalah googlebot.com, google.com atau googleusercontent.com, kemudian mengonfirmasi dengan pencarian maju. Untuk pemeriksaan skala besar, mereka dapat membandingkan IP dengan rentang IP crawler yang diterbitkan oleh Google.