網絡爬蟲是從網站進行的自動數據提取:一個程序請求頁面,解析返回的HTML或JSON,並以結構化格式保存特定字段,例如價格或列表。它與網絡爬行不同,後者通過跟隨鏈接來發現和索引頁面;爬蟲從獲取的頁面中提取特定數據。

一個基本的爬蟲向目標URL發送HTTP請求,接收原始HTML(或API基於的網站的JSON),並解析出所需的特定數據點:產品價格、搜索排名、聯繫信息等。當規模擴大時,爬蟲會遇到速率限制,這限制了單個IP地址在給定時間窗口內可以發出的請求數量。

網絡爬蟲工具類型

  • 代碼庫: 發送HTTP請求並解析HTML的腳本,例如使用HTML解析器的Python。
  • 瀏覽器自動化: 像Selenium或Playwright這樣的工具加載完整頁面,包括JavaScript生成的內容,然後從渲染的DOM中提取數據。
  • 官方API: 當網站提供時,它直接返回結構化數據,無需HTML解析。

常見的反爬蟲措施

除了速率限制,網站還使用其他方法來識別和減慢爬蟲:

  • CAPTCHA 要求訪問者證明他們是人類。
  • robots.txt 文件說明自動爬蟲可以訪問哪些路徑。
  • 蜜罐: 隱藏的鏈接,人類訪問者從未看到或點擊,用於識別和指紋識別機器人。
  • 設備指紋識別, 可以根據其特徵重新識別瀏覽器或設備,即使在清除Cookies或使用VPN的情況下。

相關術語