A extração de dados da web é a extração automatizada de dados de sites: um programa solicita páginas, analisa o HTML ou JSON retornado e salva campos específicos, como preços ou listagens, em um formato estruturado. Isso difere da rastreação da web, que segue links para descobrir e indexar páginas; a extração retira dados específicos das páginas buscadas.

Um scraper básico envia uma solicitação HTTP para uma URL de destino, recebe o HTML bruto (ou JSON, para sites baseados em API) e extrai os pontos de dados específicos necessários: preços de produtos, classificações de busca, informações de contato e similares. Em grande escala, a extração enfrenta limites de taxa, que limitam quantas solicitações um único endereço IP pode fazer em um determinado período de tempo.

Tipos de Ferramentas de Extração de Dados da Web

  • Bibliotecas de código: Scripts que enviam solicitações HTTP e analisam o HTML, por exemplo, Python com um analisador HTML.
  • Automação de navegador: Ferramentas como Selenium ou Playwright carregam a página completa, incluindo conteúdo gerado por JavaScript, e então extraem dados do DOM renderizado.
  • APIs oficiais: Quando um site oferece uma, ela retorna dados estruturados diretamente, sem necessidade de análise de HTML.

Medidas Comuns de Anti-Extração

Além dos limites de taxa, os sites usam outras maneiras de detectar e desacelerar scrapers:

  • CAPTCHAs que pedem ao visitante para provar que é humano.
  • arquivos robots.txt que indicam quais caminhos os crawlers automatizados podem acessar.
  • Honeypots: Links ocultos que visitantes humanos nunca veem ou clicam, usados para identificar e reconhecer bots.
  • Impressão digital de dispositivos, que pode reidentificar um navegador ou dispositivo a partir de suas características, mesmo após os cookies serem limpos ou quando um VPN é usado.

Termos Relacionados