Um rastreador web de IA é um rastreador operado por uma empresa de IA para coletar conteúdo da web para treinamento de modelos de linguagem ou para alimentar a recuperação em tempo real, distinto dos rastreadores de mecanismos de busca tradicionais em propósito. Exemplos incluem o GPTBot da OpenAI e o ClaudeBot da Anthropic; o Google, por sua vez, oferece o Google-Extended, um token robots.txt que permite aos editores controlar se o conteúdo coletado pelos rastreadores existentes do Google pode ser usado para treinar modelos Gemini.
Os operadores de sites podem bloquear agentes de usuário específicos de IA no robots.txt enquanto ainda permitem rastreadores de busca. O Google, por exemplo, afirma que bloquear o Google-Extended não afeta a inclusão de um site na Pesquisa do Google.