Un rastreador web es un programa que navega e indexa sistemáticamente páginas web siguiendo enlaces de página a página, utilizado típicamente para descubrir y catalogar contenido en un sitio o en la web en general. Los motores de búsqueda utilizan rastreadores para construir sus índices, y las empresas de IA utilizan cada vez más rastreadores para recopilar datos de entrenamiento y recuperación.

Los rastreadores difieren de los raspadores dirigidos en alcance: un raspador generalmente extrae datos específicos de páginas conocidas, mientras que el trabajo de un rastreador es el descubrimiento, encontrando páginas que no conoce ya siguiendo enlaces hacia afuera.

Un rastreador bien comportado verifica el archivo robots.txt de un sitio antes de rastrear y omite cualquier ruta que no permita, aunque el RFC 9309 establece que estas reglas no son una forma de autorización de acceso y no son un sustituto de medidas de seguridad reales.

Términos Relacionados