robots.txt est un fichier texte que les sites web publient au niveau supérieur de chaque hôte (par exemple, example.com/robots.txt) qui spécifie quelles pages ou sections les robots d'exploration des moteurs de recherche et d'autres bots sont autorisés ou non à accéder. C'est une norme volontaire : les robots bien comportés la respectent, mais elle n'a pas de mécanisme d'application technique propre.

La RFC 9309 stipule que les robots doivent suivre les règles dans un fichier robots.txt qu'ils ont téléchargé, mais elle indique également que ces règles ne constituent pas une forme d'autorisation d'accès.

Un fichier robots.txt peut définir différentes règles pour différents robots par nom, de sorte qu'un site puisse permettre à un robot d'exploration d'un moteur de recherche un accès large tout en bloquant d'autres.

Termes Associés