網頁擷取是從網站進行的自動化數據提取:一個程式請求頁面,解析返回的HTML或JSON,並以結構化格式保存特定字段,例如價格或列表。它與網頁爬蟲不同,後者是通過跟隨鏈接來發現和索引頁面;擷取則是從獲取的頁面中提取特定數據。

一個基本的擷取器向目標URL發送HTTP請求,接收原始HTML(或對於基於API的網站則為JSON),並解析出所需的特定數據點:產品價格、搜索排名、聯繫信息等。當擷取規模擴大時,會遇到速率限制,這限制了單個IP地址在特定時間窗口內可以發出的請求數量。

網頁擷取工具類型

  • 代碼庫: 發送HTTP請求並解析HTML的腳本,例如使用HTML解析器的Python。
  • 瀏覽器自動化: 像Selenium或Playwright這樣的工具加載完整頁面,包括JavaScript生成的內容,然後從渲染的DOM中提取數據。
  • 官方API: 當網站提供API時,直接返回結構化數據,無需HTML解析。

常見的反擷取措施

除了速率限制,網站還使用其他方法來識別和減緩擷取者:

  • CAPTCHA 要求訪問者證明他們是人類。
  • robots.txt 文件聲明自動爬蟲可以訪問哪些路徑。
  • 蜜罐: 隱藏的鏈接,人類訪問者從未看到或點擊,用於識別和指紋識別機器人。
  • 設備指紋識別, 可以根據其特徵重新識別瀏覽器或設備,即使在清除Cookies或使用VPN的情況下。

相關術語