robots.txt एक टेक्स्ट फ़ाइल है जो वेबसाइटें प्रत्येक होस्ट के शीर्ष स्तर पर प्रकाशित करती हैं (जैसे, example.com/robots.txt) जो यह निर्दिष्ट करती है कि खोज इंजन क्रॉलर और अन्य बॉट्स को किन पृष्ठों या अनुभागों तक पहुँचने की अनुमति है या नहीं। यह एक स्वैच्छिक मानक है: अच्छे व्यवहार वाले क्रॉलर इसका सम्मान करते हैं, लेकिन इसका अपना कोई तकनीकी प्रवर्तन तंत्र नहीं है।

RFC 9309 कहता है कि क्रॉलर को उस robots.txt फ़ाइल में नियमों का पालन करना चाहिए जिसे उन्होंने डाउनलोड किया है, लेकिन यह भी बताता है कि ये नियम पहुँच प्राधिकरण का एक रूप नहीं हैं।

एक robots.txt फ़ाइल विभिन्न क्रॉलरों के लिए नाम के अनुसार विभिन्न नियम सेट कर सकती है, इसलिए एक साइट एक खोज इंजन के क्रॉलर को व्यापक पहुँच की अनुमति दे सकती है जबकि अन्य को ब्लॉक कर सकती है।

संबंधित शर्तें