A extração de dados da web é a extração automatizada de dados de sites: um programa solicita páginas, analisa o HTML ou JSON retornado e salva campos específicos, como preços ou listagens, em um formato estruturado. Isso difere da rastreação da web, que segue links para descobrir e indexar páginas; a extração retira dados específicos das páginas buscadas.
Um scraper básico envia uma solicitação HTTP para uma URL de destino, recebe o HTML bruto (ou JSON, para sites baseados em API) e extrai os pontos de dados específicos necessários: preços de produtos, classificações de busca, informações de contato e similares. Em grande escala, a extração enfrenta limites de taxa, que limitam quantas solicitações um único endereço IP pode fazer em um determinado período de tempo.
Tipos de Ferramentas de Extração de Dados da Web
- Bibliotecas de código: Scripts que enviam solicitações HTTP e analisam o HTML, por exemplo, Python com um analisador HTML.
- Automação de navegador: Ferramentas como Selenium ou Playwright carregam a página completa, incluindo conteúdo gerado por JavaScript, e então extraem dados do DOM renderizado.
- APIs oficiais: Quando um site oferece uma, ela retorna dados estruturados diretamente, sem necessidade de análise de HTML.
Medidas Comuns de Anti-Extração
Além dos limites de taxa, os sites usam outras maneiras de detectar e desacelerar scrapers:
- CAPTCHAs que pedem ao visitante para provar que é humano.
- arquivos robots.txt que indicam quais caminhos os crawlers automatizados podem acessar.
- Honeypots: Links ocultos que visitantes humanos nunca veem ou clicam, usados para identificar e reconhecer bots.
- Impressão digital de dispositivos, que pode reidentificar um navegador ou dispositivo a partir de suas características, mesmo após os cookies serem limpos ou quando um VPN é usado.