เว็บครอว์เลอร์คือโปรแกรมที่ท่องเว็บและจัดทำดัชนีหน้าเว็บอย่างเป็นระบบโดยการติดตามลิงก์จากหน้าไปยังหน้า โดยทั่วไปจะใช้เพื่อค้นพบและจัดทำรายการเนื้อหาทั่วทั้งเว็บไซต์หรือเว็บที่กว้างขึ้น เครื่องมือค้นหาจะใช้ครอว์เลอร์เพื่อสร้างดัชนีของพวกเขา และบริษัท AI ก็ใช้ครอว์เลอร์มากขึ้นเรื่อยๆ เพื่อรวบรวมข้อมูลการฝึกอบรมและการดึงข้อมูล

ครอว์เลอร์จะแตกต่างจากสแครปเปอร์ที่มีเป้าหมายในด้านขอบเขต: สแครปเปอร์มักจะดึงข้อมูลเฉพาะจากหน้าเว็บที่รู้จัก ในขณะที่งานของครอว์เลอร์คือการค้นพบ โดยการค้นหาหน้าเว็บที่มันยังไม่รู้จักโดยการ ติดตามลิงก์ออกไป

ครอว์เลอร์ที่ปฏิบัติตามกฎจะตรวจสอบไฟล์ robots.txt ของเว็บไซต์ก่อนที่จะเริ่มการครอว์ล และข้ามเส้นทางใดๆ ที่ไม่อนุญาต แต่ RFC 9309 ระบุว่ากฎเหล่านี้ไม่ใช่รูปแบบของการอนุญาตการเข้าถึงและไม่สามารถทดแทนมาตรการรักษาความปลอดภัยที่แท้จริงได้

คำที่เกี่ยวข้อง