robots.txt é um arquivo de texto que os sites publicam no nível superior de cada host (por exemplo, example.com/robots.txt) que especifica quais páginas ou seções os rastreadores de mecanismos de busca e outros bots têm permissão ou não para acessar. É um padrão voluntário: rastreadores bem-comportados o respeitam, mas não possui um mecanismo de aplicação técnica próprio.
O RFC 9309 afirma que os rastreadores devem seguir as regras em um arquivo robots.txt que eles baixaram, mas também afirma que essas regras não são uma forma de autorização de acesso.
Um arquivo robots.txt pode definir regras diferentes para diferentes rastreadores por nome, de modo que um site pode permitir que o rastreador de um mecanismo de busca tenha amplo acesso enquanto bloqueia outros.