Deteksi bot adalah proses untuk mengidentifikasi apakah lalu lintas ke sebuah situs web, aplikasi, atau API berasal dari perangkat lunak otomatis atau manusia. Ini juga memisahkan bot berbahaya dari yang sah, seperti perayap mesin pencari. Sistem deteksi memberikan skor pada sinyal dari jaringan, klien, dan perilaku pengguna. Hasilnya menentukan apakah permintaan diizinkan, ditantang atau diblokir.
Lapisan Deteksi Bot
- Sinyal tingkat jaringan: reputasi IP, penyaringan ASN
- Sinyal tingkat klien: sidik jari TLS dan browser, konsistensi header
- Sinyal perilaku: telemetri perilaku, batas laju yang sadar sesi
Sebuah permintaan yang lolos satu lapisan masih dapat ditandai oleh lapisan lain.
Beberapa sinyal dapat diperiksa satu sama lain. OWASP mencatat bahwa header Client Hints dinyatakan oleh klien tetapi dapat diverifikasi terhadap sidik jari TLS-nya.
Memverifikasi Bot Baik
Tidak semua lalu lintas otomatis tidak diinginkan. Misalnya, perayap mesin pencari mengambil halaman agar dapat muncul dalam hasil pencarian. Karena setiap bot dapat mengklaim sebagai perayap dalam User-Agent, situs memverifikasi alamat IP sebagai gantinya. Google mendokumentasikan dua cara untuk memverifikasi Googlebot:
- Pemeriksaan DNS: Jalankan pencarian DNS terbalik pada IP. Konfirmasi nama host diakhiri dengan googlebot.com, google.com, atau googleusercontent.com. Kemudian jalankan pencarian maju dan konfirmasi bahwa itu mengembalikan IP asli.
- Rentang IP: Cocokkan IP dengan daftar rentang IP perayap yang diterbitkan Google dalam format JSON.
Ancaman yang Dituju oleh Deteksi Bot
Proyek OWASP Ancaman Otomatis terhadap Aplikasi Web menyebutkan 21 ancaman otomatis. Contohnya termasuk:
- Credential stuffing (OAT-008): Upaya login massal yang menguji pasangan nama pengguna dan kata sandi yang dicuri.
- Scraping (OAT-011): Mengumpulkan konten aplikasi atau data lain untuk digunakan di tempat lain.
- Scalping (OAT-005): Mendapatkan barang dan layanan yang terbatas atau diinginkan dengan cara yang tidak adil.
- Pembuatan akun (OAT-019): Membuat banyak akun untuk penyalahgunaan di kemudian hari.