网络爬虫是一个程序,它通过从页面到页面跟随链接,系统地浏览和索引网页,通常用于发现和编目网站或更广泛网络上的内容。搜索引擎使用爬虫来构建它们的索引,而人工智能公司越来越多地使用爬虫来收集训练和检索数据。

爬虫与目标抓取器在范围上有所不同:抓取器通常从已知页面提取特定数据,而爬虫的工作是发现,通过 向外跟随链接 找到它尚未了解的页面。

一个行为良好的爬虫在爬取之前会检查网站的 robots.txt 文件,并跳过任何不允许的路径,尽管 RFC 9309 规定这些规则并不是访问授权的形式,也不是实际安全措施的替代品。

相关术语