Bir AI web tarayıcısı, web içeriğini dil modellerini eğitmek veya gerçek zamanlı alım gücü sağlamak amacıyla bir AI şirketi tarafından işletilen bir tarayıcıdır; amacı bakımından geleneksel arama motoru tarayıcılarından farklıdır. OpenAI'nin GPTBot'u ve Anthropic'in ClaudeBot'u gibi örnekler bulunmaktadır; Google ise, yayıncıların Google'ın mevcut tarayıcılarının topladığı içeriğin Gemini modellerini eğitmek için kullanılıp kullanılmayacağını kontrol etmesine olanak tanıyan Google-Extended adlı bir robots.txt token'ı sunmaktadır.

Site operatörleri, arama tarayıcılarına izin verirken AI'ya özgü kullanıcı ajanlarını robots.txt dosyasında engelleyebilirler. Örneğin, Google, Google-Extended'ı engellemenin bir sitenin Google Arama'daki dahil olmasını etkilemediğini belirtmektedir.

İlgili Terimler