網路爬蟲是一種程式,透過從頁面到頁面跟隨連結,系統性地瀏覽和索引網頁,通常用於發現和編目網站或更廣泛網路上的內容。搜尋引擎使用爬蟲來建立其索引,而人工智慧公司則越來越多地使用爬蟲來收集訓練和檢索數據。

爬蟲與目標抓取器在範圍上有所不同:抓取器通常從已知頁面提取特定數據,而爬蟲的工作是發現,通過 跟隨連結向外 找到它尚未知道的頁面。

一個行為良好的爬蟲在爬取之前會檢查網站的 robots.txt 檔案,並跳過任何不允許的路徑,儘管 RFC 9309 表示這些規則並不是一種訪問授權形式,也不是實際安全措施的替代品。

相關術語