robots.txt es un archivo de texto que los sitios web publican en el nivel superior de cada host (por ejemplo, example.com/robots.txt) que especifica qué páginas o secciones los rastreadores de motores de búsqueda y otros bots pueden o no pueden acceder. Es un estándar voluntario: los rastreadores bien comportados lo respetan, pero no tiene un mecanismo de aplicación técnica propio.

El RFC 9309 dice que los rastreadores deben seguir las reglas en un archivo robots.txt que han descargado, pero también establece que estas reglas no son una forma de autorización de acceso.

Un archivo robots.txt puede establecer diferentes reglas para diferentes rastreadores por nombre, por lo que un sitio podría permitir un amplio acceso al rastreador de un motor de búsqueda mientras bloquea a otros.

Términos Relacionados