Una API de raspado es un servicio alojado que obtiene una página web para ti y devuelve su contenido a través de una llamada a la API. Envías la URL objetivo. El servicio maneja proxies, renderización de navegador y medidas anti-bot, y luego devuelve HTML o JSON estructurado. Algunos servicios también analizan la página en campos nombrados, como el título y el precio de un producto.

Algunas APIs de raspado tienen precios por solicitud y cobran solo por respuestas exitosas. Algunos también manejan prohibiciones internamente, devolviendo una respuesta de prohibición solo cuando no pueden evitar la prohibición en un tiempo razonable.

Cómo Funciona una Solicitud de API de Raspado

  • Solicitud: Envía la URL objetivo al punto final del servicio con tu clave API, que va en un parámetro de consulta o en un encabezado de autenticación HTTP dependiendo del servicio.
  • Opciones: Los parámetros pueden activar la renderización de JavaScript, elegir el país del que proviene la solicitud, o reutilizar una sesión a través de varias solicitudes.
  • Respuesta: El servicio devuelve el HTML sin procesar, HTML renderizado por el navegador, una captura de pantalla o datos estructurados extraídos.
  • Trabajos asíncronos: Para grandes lotes, algunos servicios aceptan un trabajo, devuelven una URL de estado para verificar, y pueden enviar resultados a un webhook.

API de Raspado vs. API Oficial

Una API oficial es publicada por el propietario del sitio web para acceso programático. Devuelve datos en un formato documentado y establece límites explícitos. La API REST de GitHub, por ejemplo, permite 60 solicitudes no autenticadas por hora y 5,000 por hora para un usuario autenticado. Una API de raspado, en cambio, trabaja a partir de páginas construidas para navegadores humanos. Puede acceder a datos públicos que ninguna API oficial ofrece.

Términos Relacionados