एक वेब क्रॉलर एक प्रोग्राम है जो प्रणालीबद्ध रूप से वेब पृष्ठों को ब्राउज़ और अनुक्रमित करता है, पृष्ठ से पृष्ठ तक लिंक का पालन करते हुए, आमतौर पर किसी साइट या व्यापक वेब में सामग्री को खोजने और सूचीबद्ध करने के लिए उपयोग किया जाता है। सर्च इंजन अपने अनुक्रमणिका बनाने के लिए क्रॉलर्स का उपयोग करते हैं, और एआई कंपनियाँ बढ़ती हुई संख्या में क्रॉलर्स का उपयोग प्रशिक्षण और पुनर्प्राप्ति डेटा एकत्र करने के लिए करती हैं।

क्रॉलर्स लक्षित स्क्रैपर्स से दायरे में भिन्न होते हैं: एक स्क्रैपर आमतौर पर ज्ञात पृष्ठों से विशिष्ट डेटा निकालता है, जबकि एक क्रॉलर का काम खोज करना है, उन पृष्ठों को खोजना जो वह पहले से नहीं जानता है लिंक का पालन करके।

एक अच्छा क्रॉलर किसी साइट के robots.txt फ़ाइल की जांच करता है और किसी भी पथ को छोड़ देता है जिसे वह अनुमति नहीं देता, हालांकि RFC 9309 यह बताता है कि ये नियम पहुंच प्राधिकरण का एक रूप नहीं हैं और वास्तविक सुरक्षा उपायों के लिए विकल्प नहीं हैं।

संबंधित शर्तें