robots.txt ist eine Textdatei, die Websites auf der obersten Ebene jedes Hosts (z. B. example.com/robots.txt) veröffentlichen, um anzugeben, welche Seiten oder Abschnitte von Suchmaschinen-Crawlern und anderen Bots zugänglich oder nicht zugänglich sind. Es handelt sich um einen freiwilligen Standard: Wohlerzogene Crawler respektieren ihn, aber er hat keinen eigenen technischen Durchsetzungsmechanismus.
RFC 9309 besagt, dass Crawler die Regeln in einer heruntergeladenen robots.txt-Datei befolgen müssen, erklärt jedoch auch, dass diese Regeln keine Form der Zugangsautorisierung darstellen.
Eine robots.txt-Datei kann unterschiedliche Regeln für verschiedene Crawler nach Namen festlegen, sodass eine Website einem Crawler einer Suchmaschine umfassenden Zugriff gewähren kann, während sie andere blockiert.