การเก็บข้อมูลเว็บอย่างมีจริยธรรม web scraping คือการเก็บข้อมูลเว็บที่เปิดให้สาธารณะเข้าถึงได้ในลักษณะที่เคารพกฎการเข้าถึงที่ระบุโดยเว็บไซต์ หลีกเลี่ยงการทำให้เซิร์ฟเวอร์ของเว็บไซต์ทำงานหนักเกินไป และอยู่ภายในขอบเขตทางกฎหมายและความเป็นส่วนตัวที่เกี่ยวข้อง

แนวปฏิบัติหลักสำหรับการเก็บข้อมูลอย่างมีจริยธรรม

  • เคารพ robots.txt คำสั่งเมื่อเหมาะสม
  • การจำกัดอัตราการร้องขอ เพื่อหลีกเลี่ยงการทำให้เซิร์ฟเวอร์เป้าหมายทำงานหนักเกินไป
  • หลีกเลี่ยงการเก็บข้อมูลส่วนบุคคลโดยไม่มีฐานทางกฎหมายที่ชัดเจน
  • ตรวจสอบข้อกำหนดในการให้บริการของเว็บไซต์ก่อนการเก็บข้อมูลในขนาดใหญ่

RFC 9309 อธิบายกฎ robots.txt ว่าเป็นกฎที่ขอให้โปรแกรมรวบรวมข้อมูลเคารพ มันยังบอกว่ากฎเหล่านี้ไม่ใช่รูปแบบของการอนุญาตให้เข้าถึง

การจำกัดอัตราการร้องขอไม่ใช่แค่การหลีกเลี่ยงการตรวจจับเท่านั้น แต่ยังช่วยลดภาระที่วางไว้บนเซิร์ฟเวอร์ของเว็บไซต์เป้าหมาย ในกรณีในสหรัฐอเมริกา ศาลได้พิจารณาว่าการเข้าถึงอัตโนมัติส่งผลกระทบต่อระบบของเจ้าของเว็บไซต์อย่างไร

คำศัพท์ที่เกี่ยวข้อง