ملف robots.txt هو ملف نصي تنشره المواقع على المستوى الأعلى من كل مضيف (مثل example.com/robots.txt)، والذي يخبر زاحفي محركات البحث والروبوتات الأخرى بالمسارات التي يمكنهم الوصول إليها أو لا يمكنهم الوصول إليها. إنه اختياري: الزاحفون الذين يتصرفون بشكل جيد يحترمونه، لكنه ليس لديه آلية تنفيذ تقنية خاصة به.
التنسيق هو بروتوكول استبعاد الروبوتات، الذي تم نشره كـ RFC 9309 في سبتمبر 2022. يجب على الزاحفين اتباع القواعد في ملف قاموا بتحميله، لكن هذه القواعد ليست شكلًا من أشكال تفويض الوصول. يتناول هذا الإدخال كيفية هيكلة الملف، وكيفية تسوية الزاحفين للقواعد المتعارضة، وماذا يحدث عندما لا يمكن جلب الملف، وما لا يفعله.
كيفية عمل ملف robots.txt
تُجمع القواعد حسب الزاحف. يبدأ كل مجموعة بسطر أو أكثر من user-agent الذي يسمي زاحفًا، يليه سطور allow و disallow مع مسارات URL. تتطابق الزاحفون مع أسمائهم بشكل غير حساس لحالة الأحرف، وإذا لم يكن هناك مجموعة تسميهم، فإنهم يتبعون مجموعة user-agent: * إذا كانت موجودة. يتيح ذلك لموقع ما منح محرك بحث واحد وصولًا واسعًا بينما يمنع الآخرين.
user-agent: *
disallow: /cart
allow: /cart/help
user-agent: ExampleBot
disallow: /
تدعم Google أربعة حقول: user-agent، allow، disallow، و sitemap. الحقول الأخرى، مثل crawl-delay، غير مدعومة من Google، لذا لا يمكن استخدامها لإبطاء Googlebot.
كيفية تسوية الزاحفين للقواعد المتعارضة
- الفوز بأطول تطابق: عندما يتطابق كل من قاعدة السماح وقاعدة المنع مع URL، فإن القاعدة التي تحتوي على أكبر عدد من الأحرف تطبق. في المثال أعلاه، يبقى
/cart/helpمفتوحًا على الرغم من أن/cartمحظور. - التعادل يذهب للسماح: إذا كانت القاعدتان متساويتين، يجب استخدام قاعدة السماح.
- الرموز النجمية:
*يتطابق مع صفر أو أكثر من أي حرف، و$يحدد نهاية نمط، لذاdisallow: /*.pdf$يحظر URLs التي تنتهي بـ.pdf.
ماذا يحدث عندما لا يمكن جلب robots.txt
يعتمد سلوك الزاحف على الاستجابة التي يحصل عليها للملف نفسه، والنتائج متعارضة. ملف مفقود يفتح الموقع بالكامل؛ خطأ في الخادم يغلقه.
| الوضع | RFC 9309 | |
|---|---|---|
| استجابة 4xx (مثل 404) | يمكن للزاحف الوصول إلى أي مورد | يتم التعامل معه كما لو لم يكن هناك robots.txt، باستثناء 429 |
| استجابة 5xx أو غير قابل للوصول | يجب على الزاحف افتراض منع كامل | 5xx يتبع عملية إعادة المحاولة الخاصة به؛ تعتبر أخطاء DNS والشبكة أخطاء في الخادم |
| التخزين المؤقت | يجب ألا يتم استخدام نسخة مخزنة لأكثر من 24 ساعة، ما لم يكن الملف غير قابل للوصول | عمومًا يتم تخزينها لمدة تصل إلى 24 ساعة، أطول إذا لم يمكن تحديثها |
| حجم الملف | يجب على المحللين التعامل مع 500 KiB على الأقل | يتم تجاهل المحتوى بعد 500 KiB |
هذا مهم على كلا الجانبين. يمكن لموقع يعود robots.txt الخاص به بأخطاء لفترة وجيزة أن يمنع الزاحفين المتوافقين، ويمكن أن يستغرق تغيير القاعدة ما يصل إلى يوم للوصول إليهم. الزاحف الذي يعامل جلب فاشل على أنه "لا قواعد" يكسر البروتوكول.
ما لا يفعله robots.txt
- إبقاء الصفحات خارج البحث: تقول Google إن robots.txt ليس آلية لإبقاء صفحة خارج Google. يمكن أن يتم فهرسة URL محظور دون أن يتم زحفه إذا كانت صفحات أخرى ترتبط به. لإبقاء صفحة خارجًا، استخدم
noindexأو حماية بكلمة مرور، واترك الصفحة قابلة للزحف حتى يمكن رؤيةnoindex. - تأمين أي شيء: الملف عام، لذا فإن إدراج مسارات خاصة فيه يظهر للمهاجمين أين هي. تتجاهل الروبوتات الضارة وجامعي عناوين البريد الإلكتروني ذلك.
- ربط كل روبوت: الامتثال اختياري، لذا تحتاج المحتويات الحساسة إلى ضوابط وصول حقيقية.
ماذا يعني ذلك لزحف الويب
قبل الزحف، قم بجلب robots.txt في جذر كل مضيف، حيث أن كل نطاق فرعي لديه ملفه الخاص. ابحث عن المجموعة الخاصة بعميل الزاحف الخاص بك، والعودة إلى *، وطبق قاعدة أطول تطابق على كل URL تخطط لطلبه. العديد من المواقع الآن تضيف مجموعات تستهدف زاحفي الذكاء الاصطناعي بالاسم، لذا قد لا يسمح ملف كان يسمح لروبوتك الشهر الماضي اليوم.
قم بإعادة جلب الملف مرة واحدة على الأقل يوميًا، واعتبر أي خطأ 5xx أو انتهاء المهلة كـ "منع كل شيء" حتى يتم تحميله. نظرًا لأن robots.txt هو أداة رئيسية لإدارة حركة مرور الزواحف، قم بدمجه مع تحديد الطلبات حتى عندما لا يكون crawl-delay مضبوطًا. توجيه الطلبات عبر البروكسيات لا يغير ما يسمح به الملف: القواعد تنطبق على الزاحف، وليس على عنوان IP الذي يتصل منه.