道德的 網頁擷取 是以尊重網站所聲明的訪問規則、避免過載其伺服器,並遵循適用的法律和隱私界限的方式收集公開可用的網頁數據。

道德擷取的核心實踐

  • 在合理的情況下尊重 robots.txt 指令
  • 限制請求速率 以避免過載目標伺服器
  • 避免在沒有明確法律依據的情況下收集個人數據
  • 在大規模收集之前審查網站的服務條款

RFC 9309 將 robots.txt 規則描述為要求爬蟲遵守的規則。它還指出這些規則並不是一種訪問授權的形式。

限制請求速率不僅僅是為了避免被檢測到。它還減少了對目標網站伺服器的負擔。在美國的案例中,法院考慮了自動訪問對網站所有者系統的不利影響。

相關術語