反機器人系統是一種軟體,用於篩選網站或 API 的流量,並根據 IP 信譽、瀏覽器指紋和行為等信號決定每個請求是否來自人類或機器人。它允許像搜索引擎爬蟲這樣的良性機器人,並對其判斷為惡意的流量進行挑戰、速率限制或阻擋。
Cloudflare 將機器人管理定義為阻擋不需要或惡意的機器人流量,同時讓有用的機器人繼續運作。
機器人評分與允許或阻擋決策
一些反機器人系統對請求進行評分,而不是做出二元的允許或阻擋決策。例如,Cloudflare 為每個請求給予 1 到 99 的機器人評分,網站擁有者可以根據該評分編寫規則來阻擋、挑戰或允許請求。
反機器人系統防護的對象
常見的目標包括:
- 憑證填充和暴力登入嘗試
- 數據抓取和電子郵件地址收集
- DoS 和 DDoS 攻擊
- 廣告欺詐和點擊欺詐
- 庫存囤積和購物車填充,例如機器人搶購活動門票
良性機器人與惡性機器人
並非所有自動化流量都是不需要的。良性機器人執行有用的工作,例如搜索引擎爬蟲、客戶服務聊天機器人和性能監控機器人,並且它們通常遵循網站的 robots.txt 文件中的規則。惡性機器人則濫用網站,從入侵帳戶到搶購票務。機器人管理者可以將已知的良性機器人放入允許清單,以便它們保持訪問,而其他機器人則進行篩選。