Un rastreador web de IA es un rastreador operado por una empresa de IA para recopilar contenido web para entrenar modelos de lenguaje o alimentar la recuperación en tiempo real, distinto de los rastreadores de motores de búsqueda tradicionales en su propósito. Ejemplos incluyen GPTBot de OpenAI y ClaudeBot de Anthropic; Google, en cambio, ofrece Google-Extended, un token de robots.txt que permite a los editores controlar si el contenido que los rastreadores existentes de Google recopilan puede ser utilizado para entrenar modelos Gemini.

Los operadores de sitios pueden bloquear agentes de usuario específicos de IA en robots.txt mientras permiten rastreadores de búsqueda. Google, por ejemplo, dice que bloquear Google-Extended no afecta la inclusión de un sitio en Google Search.

Términos Relacionados