ایک ویب کرالر ایک پروگرام ہے جو منظم طریقے سے ویب صفحات کو براؤز کرتا ہے اور لنکس کی پیروی کرتے ہوئے ان کی فہرست بناتا ہے، عام طور پر کسی سائٹ یا وسیع تر ویب پر مواد کو دریافت کرنے اور کیٹلاگ کرنے کے لیے استعمال ہوتا ہے۔ سرچ انجن اپنے انڈیکس بنانے کے لیے کرالرز کا استعمال کرتے ہیں، اور AI کمپنیاں بڑھتی ہوئی تعداد میں کرالرز کا استعمال تربیتی اور بازیابی کے ڈیٹا جمع کرنے کے لیے کرتی ہیں۔
کرالرز ہدف بنائے گئے اسکریپرز سے دائرہ کار میں مختلف ہوتے ہیں: ایک اسکریپر عام طور پر معلوم صفحات سے مخصوص ڈیٹا نکالتا ہے، جبکہ کرالر کا کام دریافت کرنا ہے، ایسے صفحات تلاش کرنا جو وہ پہلے سے نہیں جانتا لنکس کی پیروی کرتے ہوئے۔
ایک اچھا کرالر کسی سائٹ کی robots.txt فائل کو کرال کرنے سے پہلے چیک کرتا ہے اور کسی بھی راستے کو چھوڑ دیتا ہے جس کی اجازت نہیں ہے، حالانکہ RFC 9309 بیان کرتا ہے کہ یہ قواعد رسائی کی اجازت کی شکل نہیں ہیں اور حقیقی حفاظتی اقدامات کا متبادل نہیں ہیں۔