Un robot d'exploration web alimenté par l'IA est un robot géré par une entreprise d'IA pour rassembler du contenu web pour former des modèles linguistiques ou alimenter des récupérations en temps réel, distinct des robots d'exploration de moteurs de recherche traditionnels par son objectif. Des exemples incluent GPTBot d'OpenAI et ClaudeBot d'Anthropic ; Google propose plutôt Google-Extended, un jeton robots.txt qui permet aux éditeurs de contrôler si le contenu collecté par les robots d'exploration existants de Google peut être utilisé pour former des modèles Gemini.

Les opérateurs de sites peuvent bloquer les agents utilisateurs spécifiques à l'IA dans robots.txt tout en permettant aux robots d'exploration de recherche. Google, par exemple, affirme que le blocage de Google-Extended n'affecte pas l'inclusion d'un site dans Google Search.

Termes Associés