robots.txt হল একটি টেক্সট ফাইল যা ওয়েবসাইটগুলি প্রতিটি হোস্টের শীর্ষ স্তরে প্রকাশ করে (যেমন, example.com/robots.txt) যা নির্দিষ্ট করে কোন পৃষ্ঠা বা বিভাগগুলি সার্চ ইঞ্জিন ক্রলার এবং অন্যান্য বটগুলিকে প্রবেশ করতে দেওয়া হয়েছে বা নিষিদ্ধ করা হয়েছে। এটি একটি স্বেচ্ছাসেবী মান: ভাল আচরণকারী ক্রলার এটি সম্মান করে, তবে এর নিজস্ব কোনও প্রযুক্তিগত বাস্তবায়ন যন্ত্র নেই।

RFC 9309 বলে যে ক্রলারদের একটি robots.txt ফাইল ডাউনলোড করার পর নিয়মগুলি অনুসরণ করতে হবে, তবে এটি বলেও উল্লেখ করে যে এই নিয়মগুলি প্রবেশের অনুমোদনের একটি রূপ নয়।

একটি robots.txt ফাইল বিভিন্ন ক্রলারের জন্য নাম অনুসারে বিভিন্ন নিয়ম সেট করতে পারে, তাই একটি সাইট একটি সার্চ ইঞ্জিনের ক্রলারের জন্য ব্যাপক প্রবেশাধিকার অনুমতি দিতে পারে যখন অন্যদের ব্লক করতে পারে।

সম্পর্কিত শর্তাবলী