Web scraping đạo đức là việc thu thập dữ liệu web công khai một cách tôn trọng các quy tắc truy cập đã được nêu của một trang web, tránh làm quá tải máy chủ của nó và tuân thủ các ranh giới pháp lý và quyền riêng tư hiện hành.

Các Thực Hành Cốt Lõi cho Việc Scraping Đạo Đức

  • Tôn trọng các chỉ thị robots.txt khi hợp lý
  • Giới hạn tốc độ yêu cầu để tránh làm quá tải các máy chủ mục tiêu
  • Tránh thu thập dữ liệu cá nhân mà không có cơ sở pháp lý rõ ràng
  • Xem xét Điều khoản Dịch vụ của một trang web trước khi thu thập quy mô lớn

RFC 9309 mô tả các quy tắc robots.txt là các quy tắc mà các trình thu thập thông tin được yêu cầu tôn trọng. Nó cũng nói rằng chúng không phải là một hình thức ủy quyền truy cập.

Giới hạn tốc độ yêu cầu không chỉ là để tránh bị phát hiện. Nó cũng giảm tải cho các máy chủ của trang web mục tiêu. Trong các vụ án tại Hoa Kỳ, các tòa án đã xem xét mức độ truy cập tự động ảnh hưởng tiêu cực đến hệ thống của chủ sở hữu trang web như thế nào.

Các Thuật Ngữ Liên Quan