倫理的なウェブスクレイピングは、サイトの明示されたアクセスルールを尊重し、サーバーの過負荷を避け、適用される法的およびプライバシーの境界内に留まる方法で、公開されているウェブデータを収集することです。

倫理的スクレイピングのための基本的な実践

  • 合理的な範囲でのrobots.txt指令の尊重
  • リクエストのレート制限を行い、ターゲットサーバーの過負荷を避ける
  • 明確な法的根拠なしに個人データの収集を避ける
  • 大規模な収集の前にサイトの利用規約を確認する

RFC 9309は、クローラーが尊重すべきルールとしてrobots.txtのルールを説明しています。また、これらはアクセスの承認の形式ではないとも述べています。

リクエストのレート制限は、検出を避けるだけでなく、ターゲットサイトのサーバーにかかる負荷を軽減します。米国の事例では、裁判所は自動アクセスがサイト所有者のシステムにどのように悪影響を及ぼすかを考慮しています。

関連用語