একটি ওয়েব ক্রলার হল একটি প্রোগ্রাম যা পৃষ্ঠা থেকে পৃষ্ঠায় লিঙ্ক অনুসরণ করে সিস্টেম্যাটিকভাবে ওয়েব পৃষ্ঠাগুলি ব্রাউজ এবং ইনডেক্স করে, সাধারণত একটি সাইট বা বৃহত্তর ওয়েব জুড়ে বিষয়বস্তু আবিষ্কার এবং ক্যাটালগ করার জন্য ব্যবহৃত হয়। সার্চ ইঞ্জিনগুলি তাদের ইনডেক্স তৈরি করতে ক্রলার ব্যবহার করে, এবং AI কোম্পানিগুলি ক্রলার ব্যবহার করে প্রশিক্ষণ এবং পুনরুদ্ধার ডেটা সংগ্রহ করতে increasingly ব্যবহার করছে।
ক্রলারগুলি লক্ষ্যযুক্ত স্ক্র্যাপারগুলির তুলনায় পরিধিতে আলাদা: একটি স্ক্র্যাপার সাধারণত পরিচিত পৃষ্ঠাগুলি থেকে নির্দিষ্ট ডেটা বের করে, যখন একটি ক্রলারের কাজ হল আবিষ্কার করা, এমন পৃষ্ঠা খুঁজে বের করা যা এটি ইতিমধ্যে জানে না লিঙ্কগুলি বাইরের দিকে অনুসরণ করে।
একটি ভাল আচরণকারী ক্রলার একটি সাইটের robots.txt ফাইলটি ক্রল করার আগে চেক করে এবং যে কোনও পথ এড়িয়ে চলে যা এটি নিষিদ্ধ করে, যদিও RFC 9309 উল্লেখ করে যে এই নিয়মগুলি অ্যাক্সেস অনুমোদনের একটি ফর্ম নয় এবং বাস্তব নিরাপত্তা ব্যবস্থার জন্য একটি প্রতিস্থাপন নয়।