Uma API de raspagem é um serviço hospedado que busca uma página da web para você e retorna seu conteúdo através de uma chamada de API. Você envia a URL de destino. O serviço lida com proxies, renderização de navegador e medidas anti-bot, e então retorna HTML ou JSON estruturado. Alguns serviços também analisam a página em campos nomeados, como o título e o preço de um produto.

Algumas APIs de raspagem são cobradas por solicitação e cobram apenas por respostas bem-sucedidas. Algumas também lidam com proibições internamente, retornando uma resposta de proibição apenas quando não conseguem evitar a proibição em um tempo razoável.

Como Funciona uma Solicitação de API de Raspagem

  • Solicitação: Envie a URL de destino para o endpoint do serviço com sua chave de API, que vai em um parâmetro de consulta ou em um cabeçalho de autenticação HTTP, dependendo do serviço.
  • Opções: Parâmetros podem ativar a renderização de JavaScript, escolher o país de onde a solicitação vem, ou reutilizar uma sessão em várias solicitações.
  • Resposta: O serviço retorna o HTML bruto, HTML renderizado pelo navegador, uma captura de tela ou dados estruturados extraídos.
  • Trabalhos assíncronos: Para grandes lotes, alguns serviços aceitam um trabalho, retornam uma URL de status para verificação e podem enviar resultados para um webhook.

API de Raspagem vs. API Oficial

Uma API oficial é publicada pelo proprietário do site para acesso programático. Ela retorna dados em um formato documentado e estabelece limites explícitos. A API REST do GitHub, por exemplo, permite 60 solicitações não autenticadas por hora e 5.000 por hora para um usuário autenticado. Uma API de raspagem, por outro lado, funciona a partir de páginas construídas para navegadores humanos. Ela pode acessar dados públicos que nenhuma API oficial oferece.

Termos Relacionados