網絡爬蟲是一種程序,通過從頁面到頁面地跟隨鏈接,系統性地瀏覽和索引網頁,通常用於發現和編目網站或更廣泛網絡上的內容。搜索引擎使用爬蟲來建立其索引,而人工智能公司越來越多地使用爬蟲來收集訓練和檢索數據。
爬蟲與目標抓取器在範圍上有所不同:抓取器通常從已知頁面中提取特定數據,而爬蟲的工作是發現,通過 跟隨鏈接向外 找到它尚不知曉的頁面。
一個行為良好的爬蟲在爬取之前會檢查網站的 robots.txt 文件,並跳過任何不允許的路徑,儘管 RFC 9309 表示這些規則並不是訪問授權的形式,也不是實際安全措施的替代品。