機器人檢測是識別網站、應用程序或 API 的流量是否來自自動化軟件或人類的過程。它還將有害的機器人與合法的機器人區分開來,例如搜索引擎爬蟲。檢測系統對來自網絡、客戶端和用戶行為的信號進行評分。結果決定請求是否被允許、挑戰或阻止。

機器人檢測的層次

  • 網絡級信號: IP 信譽、ASN 過濾
  • 客戶端級信號: TLS 和瀏覽器指紋、標頭一致性
  • 行為信號: 行為遙測、會話感知速率限制

通過一層的請求仍然可以被另一層標記。

某些信號可以相互檢查。OWASP 指出,客戶端提示標頭由客戶端聲明,但可以根據其 TLS 指紋進行驗證。

驗證良性機器人

並非所有自動化流量都是不受歡迎的。例如,搜索引擎爬蟲會提取頁面,以便它們可以出現在搜索結果中。由於任何機器人都可以在其 用戶代理 中聲稱自己是爬蟲,因此網站會驗證 IP 地址。谷歌記錄了驗證 Googlebot 的兩種方法:

  • DNS 檢查: 對 IP 執行反向 DNS 查找。確認主機名以 googlebot.com、google.com 或 googleusercontent.com 結尾。然後執行正向查找並確認它返回原始 IP。
  • IP 範圍: 將 IP 與谷歌以 JSON 格式發布的爬蟲 IP 範圍列表進行匹配。

機器人檢測針對的威脅

OWASP 自動化威脅到 Web 應用程序項目列出了 21 種自動化威脅。示例包括:

  • 憑證填充 (OAT-008): 測試被盜用戶名和密碼對的大規模登錄嘗試。
  • 抓取 (OAT-011): 收集應用程序內容或其他數據以供其他地方使用。
  • 黃牛 (OAT-005): 通過不公平的方式獲取有限供應或優先商品和服務。
  • 帳戶創建 (OAT-019): 創建許多帳戶以便日後濫用。

相關術語