Bir web tarayıcısı, sayfalar arasında bağlantıları takip ederek sistematik bir şekilde web sayfalarını tarayan ve dizinleyen bir programdır; genellikle bir site veya daha geniş bir web üzerindeki içeriği keşfetmek ve kataloglamak için kullanılır. Arama motorları, dizinlerini oluşturmak için tarayıcıları kullanır ve yapay zeka şirketleri giderek daha fazla tarayıcı kullanarak eğitim ve geri alma verileri toplar.

Tarayıcılar, kapsam açısından hedeflenmiş kazıyıcılardan farklıdır: bir kazıyıcı genellikle bilinen sayfalardan belirli verileri çıkarırken, bir tarayıcının görevi keşif yapmaktır; bilmediği sayfaları dışa doğru bağlantıları takip ederek bulmaktır.

İyi davranan bir tarayıcı, taramadan önce bir sitenin robots.txt dosyasını kontrol eder ve yasakladığı yolları atlar; ancak RFC 9309, bu kuralların bir erişim yetkilendirme biçimi olmadığını ve gerçek güvenlik önlemlerinin yerini almadığını belirtir.

İlgili Terimler