網頁爬取是從網站進行的自動數據提取:一個程序請求頁面,解析返回的HTML或JSON,並以結構化格式保存特定字段,例如價格或列表。它與網頁爬蟲不同,後者通過跟隨鏈接來發現和索引頁面;爬取則是從獲取的頁面中提取特定數據。
一個基本的爬取器向目標URL發送HTTP請求,接收原始HTML(或對於基於API的網站則是JSON),並解析出所需的特定數據點:產品價格、搜索排名、聯繫信息等。當規模擴大時,爬取會遇到速率限制,這限制了單個IP地址在特定時間窗口內可以發出的請求數量。
網頁爬取工具類型
- 代碼庫: 發送HTTP請求並解析HTML的腳本,例如使用HTML解析器的Python。
- 瀏覽器自動化: 像Selenium或Playwright這樣的工具加載完整頁面,包括JavaScript生成的內容,然後從渲染的DOM中提取數據。
- 官方API: 當網站提供API時,它直接返回結構化數據,無需HTML解析。
常見的反爬取措施
除了速率限制,網站還使用其他方法來識別和減慢爬取者:
- CAPTCHA 要求訪問者證明他們是人類。
- robots.txt 文件聲明自動爬蟲可以訪問哪些路徑。
- 蜜罐: 隱藏的鏈接,人類訪問者從未看到或點擊,用於識別和指紋識別機器人。
- 設備指紋識別, 可以根據其特徵重新識別瀏覽器或設備,即使在清除cookies或使用VPN的情況下。