道德的 網絡爬蟲 是以尊重網站所聲明的訪問規則、避免過載其伺服器並遵守適用的法律和隱私界限的方式收集公開可用的網絡數據。
道德爬蟲的核心實踐
- 在合理的情況下尊重
robots.txt指令 - 限制請求速率 以避免過載目標伺服器
- 避免在沒有明確法律依據的情況下收集個人數據
- 在大規模收集之前審查網站的服務條款
RFC 9309 將 robots.txt 規則描述為要求爬蟲遵守的規則。它還指出,這些規則並不是訪問授權的形式。
限制請求速率不僅僅是為了避免被檢測到。它還減少了對目標網站伺服器的負擔。在美國的案例中,法院考慮了自動訪問對網站所有者系統的負面影響程度。