Web scraping là quá trình tự động trích xuất dữ liệu từ các trang web: một chương trình gửi yêu cầu đến các trang, phân tích HTML hoặc JSON được trả về, và lưu các trường cụ thể, chẳng hạn như giá cả hoặc danh sách, ở định dạng có cấu trúc. Nó khác với web crawling, theo dõi các liên kết để phát hiện và lập chỉ mục các trang; scraping lấy dữ liệu cụ thể ra khỏi các trang đã được truy xuất.
Một trình thu thập cơ bản gửi một yêu cầu HTTP đến một URL mục tiêu, nhận HTML thô (hoặc JSON, cho các trang dựa trên API), và phân tích các điểm dữ liệu cụ thể cần thiết: giá sản phẩm, xếp hạng tìm kiếm, thông tin liên hệ, và tương tự. Khi mở rộng, scraping gặp phải giới hạn tần suất, giới hạn số lượng yêu cầu mà một địa chỉ IP đơn lẻ có thể thực hiện trong một khoảng thời gian nhất định.
Các loại công cụ Web Scraping
- Thư viện mã: Các script gửi yêu cầu HTTP và phân tích HTML, ví dụ như Python với một trình phân tích HTML.
- Tự động hóa trình duyệt: Các công cụ như Selenium hoặc Playwright tải toàn bộ trang, bao gồm cả nội dung được xây dựng bằng JavaScript, sau đó trích xuất dữ liệu từ DOM đã được hiển thị.
- API chính thức: Nơi một trang web cung cấp, nó trả về dữ liệu có cấu trúc trực tiếp, không cần phân tích HTML.
Các biện pháp chống Scraping phổ biến
Ngoài giới hạn tần suất, các trang web sử dụng các cách khác để phát hiện và làm chậm các trình thu thập:
- CAPTCHA yêu cầu người truy cập chứng minh họ là con người.
- tệp robots.txt xác định các đường dẫn mà các trình thu thập tự động có thể truy cập.
- Honeypots: Các liên kết ẩn mà người truy cập bình thường không bao giờ thấy hoặc nhấp vào, được sử dụng để xác định và nhận diện các bot.
- Nhận diện thiết bị, có thể xác định lại một trình duyệt hoặc thiết bị từ các đặc điểm của nó, ngay cả sau khi cookie đã được xóa hoặc khi sử dụng VPN.