robots.txt ایک ٹیکسٹ فائل ہے جو ویب سائٹس ہر میزبان کی اعلی سطح پر شائع کرتی ہیں (جیسے کہ example.com/robots.txt) جو یہ وضاحت کرتی ہے کہ کون سی صفحات یا سیکشنز سرچ انجن کے کرالرز اور دیگر بوٹس کو رسائی کی اجازت ہے یا نہیں۔ یہ ایک رضاکارانہ معیار ہے: اچھے سلوک کرنے والے کرالرز اس کا احترام کرتے ہیں، لیکن اس کا اپنا کوئی تکنیکی نفاذ کا طریقہ کار نہیں ہے۔
RFC 9309 کہتا ہے کہ کرالرز کو وہ قواعد ماننے چاہئیں جو انہوں نے ڈاؤن لوڈ کردہ robots.txt فائل میں پائے ہیں، لیکن یہ بھی بیان کرتا ہے کہ یہ قواعد رسائی کی اجازت کی ایک شکل نہیں ہیں۔
ایک robots.txt فائل مختلف کرالرز کے لیے مختلف قواعد مقرر کر سکتی ہے، اس کے نام کے ذریعے، لہذا ایک سائٹ ایک سرچ انجن کے کرالر کو وسیع رسائی کی اجازت دے سکتی ہے جبکہ دوسرے کو بلاک کر سکتی ہے۔