Penggilangan User-Agent adalah amalan untuk mengubah-ubah pelbagai string User-Agent yang realistik merentasi permintaan, bukannya menghantar yang sama berulang kali, untuk menjadikan trafik automatik kelihatan lebih seperti populasi pelawat sebenar yang pelbagai.

Ia mengubah satu header permintaan, yang menamakan pelayar, sistem operasi dan versinya. Ia tidak mengubah alamat IP anda, jabat tangan TLS anda atau header HTTP lain yang dihantar oleh klien, jadi ia berfungsi hanya apabila yang lain menceritakan kisah yang sama.

Bagaimana Penggilangan User-Agent Berfungsi

  1. Bina kolam: kumpulkan string semasa dari pelayar sebenar, dipadankan dengan peranti yang anda ingin kelihatan seperti.
  2. Pilih satu: pilih satu string untuk setiap permintaan, atau simpan satu untuk setiap sesi supaya pelawat tunggal tidak bertukar pelayar antara halaman.
  3. Padankan yang lain: hantar header lain yang dihantar oleh pelayar, dalam bentuk yang sama.
  4. Segarkan kolam: pelayar sering dikemas kini, dan nombor versi lama menonjol.

Mengapa User-Agent Default Menonjol

Alat HTTP biasa mengumumkan diri mereka kecuali anda mengubah header. curl menghantar curl/ ditambah versinya, seperti curl/7.54.1, dan default Scrapy adalah Scrapy/VERSION (+https://scrapy.org). Pelayan kadang-kadang memutuskan bagaimana untuk bertindak balas berdasarkan header ini.

Apa yang Nampak Seperti User-Agent Chrome Moden

Chrome kini menghantar string User-Agent yang dipendekkan. Pengurangan User-Agent mengeluarkan versi OS yang tepat, model peranti dan versi pelayar kecil. Versi utama kekal, dan nombor kecil sentiasa 0.0.0.

  • Sebelum: Mozilla/5.0 (Linux; Android 16; Pixel 9) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/143.0.12.45 Mobile Safari/537.36
  • Selepas: Mozilla/5.0 (Linux; Android 10; K) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/143.0.0.0 Mobile Safari/537.36

Bahagian platform juga dibekukan: Windows NT 10.0; Win64; x64 pada Windows, Macintosh; Intel Mac OS X 10_15_7 pada macOS, dan Android 10; K pada Android. Chrome mula menghantar versi kecil 0.0.0 dalam Chrome 101, dan percubaan yang membenarkan laman web menyimpan string penuh berakhir pada September 2023. Senarai penggilangan yang penuh dengan string Chrome dengan nombor binaan sebenar, atau dengan model Android yang tepat, menggambarkan pelayar yang tidak lagi wujud.

Menjaga Isyarat Lain Konsisten

  • Petunjuk Klien: Chrome menghantar Sec-CH-UA, Sec-CH-UA-Mobile dan Sec-CH-UA-Platform secara default pada halaman HTTPS. Mereka mengulangi jenama, versi utama, platform dan bendera mudah alih, jadi mereka perlu bersetuju dengan User-Agent. MDN mencatatkan bahawa header ini tidak berfungsi dalam beberapa pelayar yang banyak digunakan, jadi string yang mendakwa menjadi salah satu daripada itu tidak seharusnya membawanya.
  • Isyarat yang Boleh Disahkan: OWASP menyenaraikan Petunjuk Klien sebagai isyarat yang diisytiharkan yang boleh diperiksa terhadap cap jari TLS.
  • Jabat Tangan TLS: sistem anti-bot masih boleh menggunakan isyarat yang tidak diubah oleh string User-Agent, seperti cap jari TLS (JA3 atau JA4), yang mengenal pasti klien berdasarkan cara ia memulakan sambungan TLS.

Penggilangan Menjatuhkan Nama yang Dipadankan robots.txt

Peraturan robots.txt dikelompokkan mengikut token produk crawler, seperti ExampleBot. RFC 9309 menyatakan bahawa token itu harus muncul dalam User-Agent yang dihantar oleh crawler, seperti dalam Mozilla/5.0 (compatible; ExampleBot/0.1; https://www.example.com/bot.html). Bot yang menggilangkan melalui string pelayar menjatuhkan token itu, jadi laman web tidak dapat memberitahu bot mana yang melawat atau memeriksa trafiknya terhadap peraturan yang ditulis untuknya. Penggilangan tidak mengubah peraturan yang terpakai, juga: token crawler sendiri memilih kumpulannya, atau kumpulan user-agent: * jika tiada yang menamakannya.

Laman web juga tidak mempercayai header itu sendiri. Google mengatakan User-Agent Googlebot sering dipalsukan dan mengesyorkan memeriksa IP crawler dengan carian DNS terbalik atau terhadap julat IP yang diterbitkan sebagai ganti.

Apa Maknanya untuk Pengikisan Web

  • Gunakan rentetan semasa: untuk Chrome, itu bermakna format yang dipendekkan dengan 0.0.0 versi kecil dan nilai platform yang dibekukan.
  • Putar keseluruhan profil: tukar User-Agent bersama dengan Petunjuk Klien dan header lain, dan pasangkan setiap profil dengan satu IP untuk satu sesi daripada mencampurkannya.
  • Tentukan bagaimana anda mengenal pasti: crawler yang harus mengikuti peraturan robots.txt yang dinamakan memerlukan token produk yang stabil dalam User-Agentnya. Memutarnya tidak mengubah peraturan yang terpakai kepada anda.

Istilah Berkaitan