Un robot d'exploration est un programme qui parcourt et indexe systématiquement les pages web en suivant des liens d'une page à l'autre, généralement utilisé pour découvrir et cataloguer du contenu sur un site ou sur le web en général. Les moteurs de recherche utilisent des robots d'exploration pour construire leurs index, et les entreprises d'IA utilisent de plus en plus des robots d'exploration pour rassembler des données d'entraînement et de récupération.

Les robots d'exploration diffèrent des extracteurs ciblés par leur portée : un extracteur extrait généralement des données spécifiques à partir de pages connues, tandis que le travail d'un robot d'exploration est la découverte, trouvant des pages qu'il ne connaît pas déjà en suivant des liens vers l'extérieur.

Un robot d'exploration bien conçu vérifie le fichier robots.txt d'un site avant d'explorer et ignore tous les chemins qu'il interdit, bien que la RFC 9309 stipule que ces règles ne constituent pas une forme d'autorisation d'accès et ne remplacent pas de véritables mesures de sécurité.

Termes Associés