機器人檢測是識別網站、應用程式或 API 的流量是否來自自動化軟體或人類的過程。它還能區分有害的機器人與合法的機器人,例如搜尋引擎爬蟲。檢測系統根據網路、客戶端和用戶行為的信號進行評分。結果決定請求是否被允許、挑戰或阻止。

機器人檢測的層次

  • 網路層信號: IP 信譽、ASN 過濾
  • 客戶端層信號: TLS 和瀏覽器指紋、標頭一致性
  • 行為信號: 行為遙測、會話感知速率限制

通過一層的請求仍然可能被另一層標記。

某些信號可以相互檢查。OWASP 指出,客戶端提示標頭由客戶端聲明,但可以與其 TLS 指紋進行驗證。

驗證良性機器人

並非所有自動化流量都是不受歡迎的。例如,搜尋引擎爬蟲會提取頁面,以便它們能出現在搜尋結果中。由於任何機器人都可以在其 用戶代理 中聲稱自己是爬蟲,因此網站會驗證 IP 地址。Google 記錄了驗證 Googlebot 的兩種方法:

  • DNS 檢查: 對 IP 執行反向 DNS 查詢。確認主機名稱以 googlebot.com、google.com 或 googleusercontent.com 結尾。然後執行正向查詢並確認它返回原始 IP。
  • IP 範圍: 將 IP 與 Google 在 JSON 中發布的爬蟲 IP 範圍列表進行匹配。

機器人檢測針對的威脅

OWASP 自動化威脅網路應用程式專案列出了 21 種自動化威脅。示例包括:

  • 憑證填充 (OAT-008): 大規模登錄嘗試,測試被盜的用戶名和密碼對。
  • 抓取 (OAT-011): 收集應用程式內容或其他數據以供其他地方使用。
  • 黃牛 (OAT-005): 以不公平的方式獲取有限供應或優先商品和服務。
  • 帳戶創建 (OAT-019): 創建許多帳戶以供日後濫用。

相關術語