機器人檢測是識別網站、應用程式或 API 的流量是否來自自動化軟件或人類的過程。它還能將有害的機器人與合法的機器人區分開來,例如搜索引擎爬蟲。檢測系統會根據網絡、客戶端和用戶行為的信號進行評分。結果決定請求是否被允許、挑戰或阻止。
機器人檢測的層次
- 網絡級信號: IP 信譽、ASN 過濾
- 客戶端級信號: TLS 和瀏覽器指紋、標頭一致性
- 行為信號: 行為遙測、會話感知速率限制
通過一層的請求仍然可能被另一層標記。
某些信號可以相互檢查。OWASP 指出,客戶端提示標頭由客戶端聲明,但可以根據其 TLS 指紋進行驗證。
驗證良性機器人
並非所有自動化流量都是不受歡迎的。例如,搜索引擎爬蟲會提取頁面,以便它們能出現在搜索結果中。由於任何機器人都可以在其 User-Agent 中聲稱自己是爬蟲,因此網站會驗證 IP 地址。Google 記錄了驗證 Googlebot 的兩種方法:
- DNS 檢查: 對 IP 進行反向 DNS 查詢。確認主機名以 googlebot.com、google.com 或 googleusercontent.com 結尾。然後進行正向查詢,確認返回原始 IP。
- IP 範圍: 將 IP 與 Google 在 JSON 中發布的爬蟲 IP 範圍列表進行匹配。
機器人檢測針對的威脅
OWASP 自動化威脅網絡應用程序項目列出了 21 種自動化威脅。示例包括:
- 憑證填充 (OAT-008): 大規模登錄嘗試,測試被盜的用戶名和密碼對。
- 抓取 (OAT-011): 收集應用程序內容或其他數據以供其他地方使用。
- 黃牛 (OAT-005): 通過不公平的方法獲取有限供應或優先商品和服務。
- 帳戶創建 (OAT-019): 創建許多帳戶以便日後濫用。