Ang robots.txt ay isang text file na inilalathala ng mga website sa pinakamataas na antas ng bawat host (hal. example.com/robots.txt) na nagsasaad kung aling mga pahina o seksyon ang pinapayagan o hindi pinapayagan na ma-access ng mga search engine crawlers at iba pang bots. Ito ay isang boluntaryong pamantayan: ang mga maayos na crawlers ay iginagalang ito, ngunit wala itong teknikal na mekanismo ng pagpapatupad.
Ayon sa RFC 9309, dapat sundin ng mga crawlers ang mga patakaran sa isang robots.txt file na kanilang na-download, ngunit sinasabi rin nito na ang mga patakarang ito ay hindi isang anyo ng pahintulot sa pag-access.
Maaaring magtakda ang isang robots.txt file ng iba't ibang mga patakaran para sa iba't ibang crawlers ayon sa pangalan, kaya maaaring payagan ng isang site ang malawak na pag-access para sa crawler ng isang search engine habang hinaharangan ang iba.