A detecção de bots é o processo de identificar se o tráfego para um site, aplicativo ou API vem de software automatizado ou de um humano. Ela também separa bots prejudiciais de legítimos, como os crawlers de mecanismos de busca. Os sistemas de detecção pontuam sinais da rede, do cliente e do comportamento do usuário. O resultado decide se uma solicitação é permitida, desafiada ou bloqueada.
As Camadas da Detecção de Bots
- Sinais em nível de rede: reputação de IP, filtragem de ASN
- Sinais em nível de cliente: impressões digitais de TLS e navegador, consistência de cabeçalhos
- Sinais comportamentais: telemetria comportamental, limites de taxa cientes da sessão
Uma solicitação que passa por uma camada ainda pode ser sinalizada por outra.
Alguns sinais podem ser verificados entre si. A OWASP observa que os cabeçalhos Client Hints são declarados pelo cliente, mas podem ser verificados contra sua impressão digital de TLS.
Verificando Bots Bons
Nem todo tráfego automatizado é indesejado. Crawlers de mecanismos de busca, por exemplo, buscam páginas para que possam aparecer nos resultados de busca. Como qualquer bot pode alegar ser um crawler em seu User-Agent, os sites verificam o endereço IP em vez disso. O Google documenta duas maneiras de verificar o Googlebot:
- Verificação de DNS: Execute uma pesquisa DNS reversa no IP. Confirme que o nome do host termina em googlebot.com, google.com ou googleusercontent.com. Em seguida, execute uma pesquisa direta e confirme que retorna o IP original.
- Faixas de IP: Compare o IP com as listas de faixas de IP de crawlers que o Google publica em JSON.
Ameaças que a Detecção de Bots Alvo
O projeto OWASP Automated Threats to Web Applications nomeia 21 ameaças automatizadas. Exemplos incluem:
- Credential stuffing (OAT-008): Tentativas de login em massa que testam pares de nome de usuário e senha roubados.
- Scraping (OAT-011): Coleta de conteúdo de aplicativos ou outros dados para uso em outro lugar.
- Scalping (OAT-005): Obtenção de bens e serviços de disponibilidade limitada ou preferencial por métodos injustos.
- Criação de contas (OAT-019): Criação de muitas contas para uso indevido posterior.