網絡爬蟲是從網站進行的自動數據提取:一個程序請求頁面,解析返回的HTML或JSON,並以結構化格式保存特定字段,例如價格或列表。它與網絡爬行不同,後者通過跟隨鏈接來發現和索引頁面;爬蟲從獲取的頁面中提取特定數據。
一個基本的爬蟲向目標URL發送HTTP請求,接收原始HTML(或API基於的網站的JSON),並解析出所需的特定數據點:產品價格、搜索排名、聯繫信息等。當規模擴大時,爬蟲會遇到速率限制,這限制了單個IP地址在給定時間窗口內可以發出的請求數量。
網絡爬蟲工具類型
- 代碼庫: 發送HTTP請求並解析HTML的腳本,例如使用HTML解析器的Python。
- 瀏覽器自動化: 像Selenium或Playwright這樣的工具加載完整頁面,包括JavaScript生成的內容,然後從渲染的DOM中提取數據。
- 官方API: 當網站提供時,它直接返回結構化數據,無需HTML解析。
常見的反爬蟲措施
除了速率限制,網站還使用其他方法來識別和減慢爬蟲:
- CAPTCHA 要求訪問者證明他們是人類。
- robots.txt 文件說明自動爬蟲可以訪問哪些路徑。
- 蜜罐: 隱藏的鏈接,人類訪問者從未看到或點擊,用於識別和指紋識別機器人。
- 設備指紋識別, 可以根據其特徵重新識別瀏覽器或設備,即使在清除Cookies或使用VPN的情況下。