زاحف الويب هو برنامج يتصفح ويفهرس صفحات الويب بشكل منهجي من خلال اتباع الروابط من صفحة إلى أخرى، وعادة ما يُستخدم لاكتشاف وفهرسة المحتوى عبر موقع ما أو الويب بشكل أوسع. تستخدم محركات البحث الزواحف لبناء فهارسها، وتستخدم شركات الذكاء الاصطناعي بشكل متزايد الزواحف لجمع بيانات التدريب والاسترجاع.

تختلف الزواحف عن أدوات الاستخراج المستهدفة من حيث النطاق: عادةً ما تستخرج أداة الاستخراج بيانات محددة من صفحات معروفة، بينما تتمثل مهمة الزاحف في الاكتشاف، حيث يجد صفحات لا يعرفها بالفعل من خلال اتباع الروابط للخارج.

يتحقق الزاحف الذي يتصرف بشكل جيد من ملف robots.txt الخاص بالموقع قبل الزحف ويتخطى أي مسارات يمنعها، على الرغم من أن RFC 9309 ينص على أن هذه القواعد ليست شكلًا من أشكال تفويض الوصول وليست بديلاً عن تدابير الأمان الحقيقية.

المصطلحات ذات الصلة