ملف robots.txt هو ملف نصي تنشره المواقع على المستوى الأعلى من كل مضيف (مثل example.com/robots.txt)، والذي يخبر زاحفي محركات البحث والروبوتات الأخرى بالمسارات التي يمكنهم الوصول إليها أو لا يمكنهم الوصول إليها. إنه اختياري: الزاحفون الذين يتصرفون بشكل جيد يحترمونه، لكنه ليس لديه آلية تنفيذ تقنية خاصة به.

التنسيق هو بروتوكول استبعاد الروبوتات، الذي تم نشره كـ RFC 9309 في سبتمبر 2022. يجب على الزاحفين اتباع القواعد في ملف قاموا بتحميله، لكن هذه القواعد ليست شكلًا من أشكال تفويض الوصول. يتناول هذا الإدخال كيفية هيكلة الملف، وكيفية تسوية الزاحفين للقواعد المتعارضة، وماذا يحدث عندما لا يمكن جلب الملف، وما لا يفعله.

كيفية عمل ملف robots.txt

تُجمع القواعد حسب الزاحف. يبدأ كل مجموعة بسطر أو أكثر من user-agent الذي يسمي زاحفًا، يليه سطور allow و disallow مع مسارات URL. تتطابق الزاحفون مع أسمائهم بشكل غير حساس لحالة الأحرف، وإذا لم يكن هناك مجموعة تسميهم، فإنهم يتبعون مجموعة user-agent: * إذا كانت موجودة. يتيح ذلك لموقع ما منح محرك بحث واحد وصولًا واسعًا بينما يمنع الآخرين.

user-agent: *
disallow: /cart
allow: /cart/help

user-agent: ExampleBot
disallow: /

تدعم Google أربعة حقول: user-agent، allow، disallow، و sitemap. الحقول الأخرى، مثل crawl-delay، غير مدعومة من Google، لذا لا يمكن استخدامها لإبطاء Googlebot.

كيفية تسوية الزاحفين للقواعد المتعارضة

  • الفوز بأطول تطابق: عندما يتطابق كل من قاعدة السماح وقاعدة المنع مع URL، فإن القاعدة التي تحتوي على أكبر عدد من الأحرف تطبق. في المثال أعلاه، يبقى /cart/help مفتوحًا على الرغم من أن /cart محظور.
  • التعادل يذهب للسماح: إذا كانت القاعدتان متساويتين، يجب استخدام قاعدة السماح.
  • الرموز النجمية: * يتطابق مع صفر أو أكثر من أي حرف، و $ يحدد نهاية نمط، لذا disallow: /*.pdf$ يحظر URLs التي تنتهي بـ .pdf.

ماذا يحدث عندما لا يمكن جلب robots.txt

يعتمد سلوك الزاحف على الاستجابة التي يحصل عليها للملف نفسه، والنتائج متعارضة. ملف مفقود يفتح الموقع بالكامل؛ خطأ في الخادم يغلقه.

الوضعRFC 9309Google
استجابة 4xx (مثل 404)يمكن للزاحف الوصول إلى أي مورديتم التعامل معه كما لو لم يكن هناك robots.txt، باستثناء 429
استجابة 5xx أو غير قابل للوصوليجب على الزاحف افتراض منع كامل5xx يتبع عملية إعادة المحاولة الخاصة به؛ تعتبر أخطاء DNS والشبكة أخطاء في الخادم
التخزين المؤقتيجب ألا يتم استخدام نسخة مخزنة لأكثر من 24 ساعة، ما لم يكن الملف غير قابل للوصولعمومًا يتم تخزينها لمدة تصل إلى 24 ساعة، أطول إذا لم يمكن تحديثها
حجم الملفيجب على المحللين التعامل مع 500 KiB على الأقليتم تجاهل المحتوى بعد 500 KiB

هذا مهم على كلا الجانبين. يمكن لموقع يعود robots.txt الخاص به بأخطاء لفترة وجيزة أن يمنع الزاحفين المتوافقين، ويمكن أن يستغرق تغيير القاعدة ما يصل إلى يوم للوصول إليهم. الزاحف الذي يعامل جلب فاشل على أنه "لا قواعد" يكسر البروتوكول.

ما لا يفعله robots.txt

  • إبقاء الصفحات خارج البحث: تقول Google إن robots.txt ليس آلية لإبقاء صفحة خارج Google. يمكن أن يتم فهرسة URL محظور دون أن يتم زحفه إذا كانت صفحات أخرى ترتبط به. لإبقاء صفحة خارجًا، استخدم noindex أو حماية بكلمة مرور، واترك الصفحة قابلة للزحف حتى يمكن رؤية noindex.
  • تأمين أي شيء: الملف عام، لذا فإن إدراج مسارات خاصة فيه يظهر للمهاجمين أين هي. تتجاهل الروبوتات الضارة وجامعي عناوين البريد الإلكتروني ذلك.
  • ربط كل روبوت: الامتثال اختياري، لذا تحتاج المحتويات الحساسة إلى ضوابط وصول حقيقية.

ماذا يعني ذلك لزحف الويب

قبل الزحف، قم بجلب robots.txt في جذر كل مضيف، حيث أن كل نطاق فرعي لديه ملفه الخاص. ابحث عن المجموعة الخاصة بعميل الزاحف الخاص بك، والعودة إلى *، وطبق قاعدة أطول تطابق على كل URL تخطط لطلبه. العديد من المواقع الآن تضيف مجموعات تستهدف زاحفي الذكاء الاصطناعي بالاسم، لذا قد لا يسمح ملف كان يسمح لروبوتك الشهر الماضي اليوم.

قم بإعادة جلب الملف مرة واحدة على الأقل يوميًا، واعتبر أي خطأ 5xx أو انتهاء المهلة كـ "منع كل شيء" حتى يتم تحميله. نظرًا لأن robots.txt هو أداة رئيسية لإدارة حركة مرور الزواحف، قم بدمجه مع تحديد الطلبات حتى عندما لا يكون crawl-delay مضبوطًا. توجيه الطلبات عبر البروكسيات لا يغير ما يسمح به الملف: القواعد تنطبق على الزاحف، وليس على عنوان IP الذي يتصل منه.

المصطلحات ذات الصلة