Ein Web-Crawler ist ein Programm, das systematisch Webseiten durchsucht und indiziert, indem es Links von Seite zu Seite folgt. Er wird typischerweise verwendet, um Inhalte auf einer Website oder im weiteren Web zu entdecken und zu katalogisieren. Suchmaschinen verwenden Crawler, um ihre Indizes aufzubauen, und KI-Unternehmen nutzen zunehmend Crawler, um Trainings- und Abrufdaten zu sammeln.
Crawler unterscheiden sich in ihrem Umfang von gezielten Scrapers: Ein Scraper extrahiert normalerweise spezifische Daten von bekannten Seiten, während die Aufgabe eines Crawlers die Entdeckung ist, indem er Seiten findet, von denen er noch nichts weiß, indem er Links nach außen folgt.
Ein gut funktionierender Crawler überprüft die robots.txt-Datei einer Website, bevor er crawlt, und überspringt alle Pfade, die er nicht zulässt. Obwohl RFC 9309 besagt, dass diese Regeln keine Form der Zugangsautorisierung darstellen und keinen Ersatz für echte Sicherheitsmaßnahmen sind.