网络爬虫是从网站自动提取数据的过程:一个程序请求页面,解析返回的HTML或JSON,并以结构化格式保存特定字段,如价格或列表。它与网络爬取不同,后者通过链接发现和索引页面;爬虫从获取的页面中提取特定数据。

一个基本的爬虫向目标URL发送HTTP请求,接收原始HTML(或针对API的网站的JSON),并解析出所需的特定数据点:产品价格、搜索排名、联系信息等。在大规模操作中,爬虫会遇到速率限制,这限制了单个IP地址在给定时间窗口内可以发出的请求数量。

网络爬虫工具类型

  • 代码库: 发送HTTP请求并解析HTML的脚本,例如使用HTML解析器的Python。
  • 浏览器自动化: 像Selenium或Playwright这样的工具加载完整页面,包括JavaScript构建的内容,然后从渲染的DOM中提取数据。
  • 官方API: 如果网站提供API,它直接返回结构化数据,无需HTML解析。

常见的反爬虫措施

除了速率限制,网站还使用其他方法来识别和减缓爬虫:

  • 验证码,要求访问者证明他们是人类。
  • robots.txt 文件,声明自动爬虫可以访问哪些路径。
  • 蜜罐: 隐藏链接,普通访问者从未见过或点击过,用于识别和指纹识别机器人。
  • 设备指纹识别,可以根据设备的特征重新识别浏览器或设备,即使在清除cookie或使用VPN时也能做到。

相关术语