API thu thập dữ liệu là một dịch vụ lưu trữ giúp bạn lấy một trang web và trả về nội dung của nó thông qua một cuộc gọi API. Bạn gửi URL mục tiêu. Dịch vụ này xử lý các proxy, kết xuất trình duyệt và các biện pháp chống bot, sau đó trả về HTML hoặc JSON có cấu trúc. Một số dịch vụ cũng phân tích trang thành các trường được đặt tên, chẳng hạn như tiêu đề và giá của sản phẩm.
Một số API thu thập dữ liệu được định giá theo yêu cầu và chỉ tính phí cho các phản hồi thành công. Một số cũng xử lý các lệnh cấm nội bộ, trả về phản hồi lệnh cấm chỉ khi họ không thể tránh lệnh cấm trong một khoảng thời gian hợp lý.
Cách một yêu cầu API thu thập dữ liệu hoạt động
- Yêu cầu: Gửi URL mục tiêu đến điểm cuối của dịch vụ với khóa API của bạn, cái mà được đưa vào tham số truy vấn hoặc tiêu đề xác thực HTTP tùy thuộc vào dịch vụ.
- Tùy chọn: Các tham số có thể bật kết xuất JavaScript, chọn quốc gia mà yêu cầu đến từ, hoặc tái sử dụng một phiên qua nhiều yêu cầu.
- Phản hồi: Dịch vụ trả về HTML thô, HTML đã được trình duyệt kết xuất, một ảnh chụp màn hình hoặc dữ liệu có cấu trúc.
- Công việc không đồng bộ: Đối với các lô lớn, một số dịch vụ chấp nhận một công việc, trả về một URL trạng thái để kiểm tra, và có thể gửi kết quả đến một webhook.
API thu thập dữ liệu so với API chính thức
Một API chính thức được công bố bởi chủ sở hữu trang web để truy cập lập trình. Nó trả về dữ liệu theo định dạng đã được tài liệu hóa và đặt ra các giới hạn rõ ràng. API REST của GitHub, chẳng hạn, cho phép 60 yêu cầu không xác thực mỗi giờ và 5.000 yêu cầu mỗi giờ cho một người dùng đã xác thực. API thu thập dữ liệu thay vào đó hoạt động từ các trang được xây dựng cho trình duyệt của con người. Nó có thể truy cập dữ liệu công khai mà không có API chính thức nào cung cấp.