User-Agentのローテーションは、リクエストごとにさまざまなリアルなUser-Agent文字列を循環させる実践であり、同じものを繰り返し送信するのではなく、自動化されたトラフィックを実際の訪問者の多様な集団のように見せることを目的としています。
アンチボットシステムは、User-Agent文字列が変わらないという信号を使用することができ、例えばTLSフィンガープリント(JA3またはJA4)を使用して、TLS接続を開始する方法によってクライアントを識別します。
なぜデフォルトのUser-Agentが目立つのか
一般的なHTTPツールは、ヘッダーを変更しない限り、自らをアナウンスします。curlはcurl/とそのバージョン(例:curl/7.54.1)を送信し、ScrapyのデフォルトはScrapy/VERSION (+https://scrapy.org)です。サーバーは時々、このヘッダーに基づいて応答を決定します。
他の信号を一貫させる
OWASPは、クライアントヒントヘッダー(Sec-CH-UA-*)を、TLSフィンガープリントに対して検証できる宣言された信号としてリストしています。ローテーションされたUser-Agentは、サイトが比較できるいくつかのアイデンティティ信号のうちの1つに過ぎません。