Phát hiện bot là quá trình xác định xem lưu lượng truy cập đến một trang web, ứng dụng hoặc API đến từ phần mềm tự động hay con người. Nó cũng phân tách các bot có hại khỏi các bot hợp pháp, chẳng hạn như các trình thu thập thông tin của công cụ tìm kiếm. Các hệ thống phát hiện chấm điểm các tín hiệu từ mạng, khách hàng và hành vi người dùng. Kết quả quyết định xem một yêu cầu có được cho phép, thách thức hay bị chặn.
Các lớp phát hiện bot
- Tín hiệu cấp mạng: Danh tiếng IP, lọc ASN
- Tín hiệu cấp khách hàng: Dấu vân tay TLS và trình duyệt, tính nhất quán của tiêu đề
- Tín hiệu hành vi: Telemetry hành vi, giới hạn tỷ lệ nhận thức phiên
Một yêu cầu vượt qua một lớp vẫn có thể bị đánh dấu bởi lớp khác.
Một số tín hiệu có thể được kiểm tra lẫn nhau. OWASP lưu ý rằng các tiêu đề Client Hints được khai báo bởi khách hàng nhưng có thể được xác minh với dấu vân tay TLS của nó.
Xác minh các bot tốt
Không phải tất cả lưu lượng tự động đều không mong muốn. Các trình thu thập thông tin của công cụ tìm kiếm, chẳng hạn, lấy các trang để chúng có thể xuất hiện trong kết quả tìm kiếm. Bởi vì bất kỳ bot nào cũng có thể tuyên bố là một trình thu thập thông tin trong User-Agent, các trang web xác minh địa chỉ IP thay vào đó. Google tài liệu hai cách để xác minh Googlebot:
- Kiểm tra DNS: Thực hiện một tìm kiếm DNS ngược trên IP. Xác nhận tên máy chủ kết thúc bằng googlebot.com, google.com hoặc googleusercontent.com. Sau đó thực hiện một tìm kiếm tiến và xác nhận nó trả về IP gốc.
- Phạm vi IP: So khớp IP với danh sách các phạm vi IP của trình thu thập thông tin mà Google công bố trong JSON.
Các mối đe dọa mà phát hiện bot nhắm đến
Dự án OWASP Các mối đe dọa tự động đối với Ứng dụng Web liệt kê 21 mối đe dọa tự động. Ví dụ bao gồm:
- Nhồi thông tin xác thực (OAT-008): Các nỗ lực đăng nhập hàng loạt thử nghiệm các cặp tên người dùng và mật khẩu bị đánh cắp.
- Lấy dữ liệu (OAT-011): Thu thập nội dung ứng dụng hoặc dữ liệu khác để sử dụng ở nơi khác.
- Scalping (OAT-005): Lấy hàng hóa và dịch vụ có sẵn hạn chế hoặc ưu tiên bằng các phương pháp không công bằng.
- Tạo tài khoản (OAT-019): Tạo nhiều tài khoản để sử dụng sai mục đích sau này.