Thu Thập Dữ Liệu Web Công Khai Để Đào Tạo LLM: Một Cuốn Sổ Tay Thực Tế

Các mô hình ngôn ngữ lớn chỉ hữu ích bằng dữ liệu đứng sau chúng. Nếu dữ liệu nguồn đã lỗi thời, bị trùng lặp, thiên lệch theo vùng miền, có giấy phép kém hoặc đầy các trang chất lượng thấp, mô hình sẽ phản ánh những điểm yếu đó. Kết quả thường là câu trả lời kém hơn, nhiều ảo giác hơn, chi phí xem xét cao hơn và hiệu suất yếu hơn trong các quy trình sản phẩm thực tế.

Việc thu thập dữ liệu web công khai cho việc đào tạo LLM không chỉ là một vấn đề thu thập dữ liệu. Đây là một vấn đề về quản trị dữ liệu, cơ sở hạ tầng, tuân thủ và kiểm soát chất lượng. Các nhóm cần một quy trình có thể phát hiện các nguồn được phép, thu thập nội dung một cách có trách nhiệm, xác thực dữ liệu trả về, bảo tồn siêu dữ liệu, loại bỏ thông tin không an toàn hoặc không cần thiết, và định tuyến các khối lượng công việc khó khăn qua cơ sở hạ tầng phù hợp.

Đối với các nhóm thu thập dữ liệu web công khai quy mô lớn, quy trình dữ liệu cho AI thường yêu cầu sự kết hợp giữa lập kế hoạch nguồn, kiểm soát thu thập, định tuyến proxy, xác thực dữ liệu và giám sát liên tục. Mục tiêu không chỉ đơn giản là thu thập nhiều văn bản hơn. Mục tiêu là xây dựng một tập dữ liệu sạch, có thể truy nguyên, có thể bảo vệ mà cải thiện hiệu suất mô hình mà không tạo ra rủi ro pháp lý, hoạt động hoặc danh tiếng không cần thiết.

Ý Nghĩa Của Việc Thu Thập Dữ Liệu Web Công Khai Cho Đào Tạo LLM

Việc thu thập dữ liệu web công khai cho đào tạo LLM có nghĩa là phát hiện, lấy, xử lý và lưu trữ nội dung có sẵn công khai có thể được sử dụng cho việc đào tạo mô hình, tinh chỉnh, đánh giá, truy xuất hoặc làm phong phú.

Một quy trình có trách nhiệm nên trả lời những câu hỏi này trước khi bắt đầu thu thập:

• Nguồn có thể truy cập công khai mà không cần đăng nhập, tường phí hay vượt qua không?
• Các điều khoản của trang, chỉ dẫn robots, hoặc điều kiện giấy phép có tương thích với mục đích sử dụng không?
• Các trường dữ liệu nào là cần thiết?
• Dữ liệu nào nên bị loại trừ?
• Làm thế nào để loại bỏ các bản sao, nội dung mẫu và nội dung không an toàn?
• Làm thế nào để bảo tồn siêu dữ liệu và nguồn gốc của nguồn?
• Làm thế nào để đo lường chất lượng thu thập?

Điều này quan trọng vì dữ liệu đào tạo LLM không chỉ được đánh giá bằng khối lượng. Nó được đánh giá bằng tính hữu ích, độ bao phủ, độ mới, quyền và khả năng truy nguyên.

Dữ Liệu Web Công Khai Được Tính Là Gì?

Dữ liệu web công khai thường đề cập đến nội dung có thể truy cập mà không cần xác thực, thanh toán hoặc vượt qua kỹ thuật. Các ví dụ có thể bao gồm tài liệu công khai, thông tin chính phủ, trang dự án mã nguồn mở, danh mục sản phẩm công khai, blog, nguồn cấp RSS, sơ đồ trang công khai và tập dữ liệu có giấy phép mở.

Tuy nhiên, "có thể nhìn thấy công khai" không tự động có nghĩa là "miễn phí để sử dụng cho việc đào tạo mô hình." Các nhóm thu thập vẫn cần đánh giá:

• điều khoản trang
• chỉ dẫn robots.txt
• tình trạng bản quyền hoặc giấy phép
• nghĩa vụ bảo mật thông tin
• độ nhạy cảm của dữ liệu
• yêu cầu theo khu vực pháp lý
• chính sách tuân thủ nội bộ

Nếu quyền không rõ ràng, con đường an toàn hơn là loại bỏ nguồn, yêu cầu sự cho phép, sử dụng API chính thức hoặc theo đuổi một nguồn dữ liệu có giấy phép.

Tại Sao Chất Lượng Dữ Liệu Web Công Khai Quan Trọng Đối Với LLM

Dữ liệu đào tạo kém có thể tạo ra những vấn đề tốn kém ở phía sau.

Các đầu vào kém có thể gây ra:

• câu trả lời ảo giác hoặc lỗi thời
• hành vi mô hình thiên lệch
• hiểu biết kém theo vùng miền
• kết quả truy xuất không liên quan
• các phản hồi mẫu lặp lại
• các ví dụ đào tạo bị trùng lặp
• đầu ra không an toàn hoặc độc hại
• hiệu suất yếu trong các lĩnh vực ngách

Dữ liệu web công khai chất lượng cao cải thiện:

• độ bao phủ thực tế
• tính nhất quán của câu trả lời
• từ vựng theo miền cụ thể
• đại diện đa ngôn ngữ hoặc theo vùng miền
• chất lượng đánh giá
• độ liên quan của truy xuất
• hiệu quả tinh chỉnh

Đối với các nhóm kinh doanh, dữ liệu tốt hơn có thể giảm chi phí xem xét và cải thiện kết quả sản phẩm. Đối với các nhóm kỹ thuật, dữ liệu sạch hơn giảm thiểu công việc lại quy trình, thời gian gỡ lỗi và lãng phí trong việc đào tạo lại.

Bắt Đầu Với Chiến Lược Nguồn, Không Phải Thu Thập

Một quy trình dữ liệu LLM mạnh mẽ bắt đầu với việc chọn nguồn.

Trước khi lấy bất cứ thứ gì, hãy xác định:

• trường hợp sử dụng mô hình
• ngôn ngữ mục tiêu
• khu vực mục tiêu
• danh mục miền
• loại nguồn chấp nhận được
• loại nguồn bị loại trừ
• yêu cầu quyền
• tần suất cập nhật
• ngưỡng chất lượng

Ví dụ, một trợ lý hỗ trợ có thể cần tài liệu chính thức, các trang trung tâm trợ giúp và ghi chú phát hành sản phẩm. Một mô hình tình báo thị trường có thể cần danh mục sản phẩm công khai, các trang giá cả, các đánh giá công khai nơi được phép, và nội dung khu vực. Một trợ lý đa ngôn ngữ có thể cần sự cân bằng cẩn thận về độ phủ ngôn ngữ.

Nếu không có chiến lược nguồn, quy trình có thể thu thập quá nhiều trang dễ dàng trong khi bỏ lỡ các khu vực, định dạng hoặc miền quan trọng.

Các Đường Dẫn Thu Thập: Bạn Nên Sử Dụng Đường Nào?

Các phương pháp thu thập khác nhau có chi phí, rủi ro và hồ sơ chất lượng khác nhau.

Quy tắc tốt nhất rất đơn giản: sử dụng phương pháp thu thập đáng tin cậy, thân thiện với quyền và hiệu quả về chi phí nhất có sẵn. Sử dụng kết xuất trình duyệt và cơ sở hạ tầng phức tạp chỉ khi các phương pháp đơn giản hơn không thể trả về dữ liệu hoàn chỉnh, hợp lệ.

Cơ Sở Hạ Tầng Proxy Phù Hợp Ở Đâu

Cơ sở hạ tầng proxy giúp khi lớp thu thập cần định tuyến mạng được kiểm soát, phạm vi địa lý hoặc các mẫu truy cập phân tán. Nó có thể hỗ trợ thu thập dữ liệu công khai bằng cách cải thiện độ tin cậy trên các khu vực, giảm sự tập trung quá mức từ một lộ trình duy nhất, và giúp các nhóm xác thực nội dung địa phương hóa.

Đối với các trang công khai đơn giản, proxy trung tâm dữ liệu có thể đủ. Chúng thường nhanh, dự đoán được và hiệu quả về chi phí cho việc thu thập quy mô lớn từ các nguồn ít ma sát hơn.

Đối với các trang nhạy cảm về địa lý, hướng đến người tiêu dùng, hoặc cụ thể theo khu vực, proxy dân cư có thể phù hợp hơn. Chúng có thể giúp các nhóm xác nhận nội dung nào được hiển thị từ các quốc gia hoặc thành phố cụ thể.

Đối với kế hoạch triển khai rộng hơn, proxy thu thập web nên được coi là một phần của lớp thu thập dữ liệu—không phải là một sự thay thế cho việc tuân thủ, xác thực nguồn, hoặc làm sạch dữ liệu.

Kiến Trúc Quy Trình Thực Tế

Một quy trình thu thập dữ liệu web công khai có thể mở rộng thường bao gồm các thành phần sau:

1. Đăng ký nguồn Lưu trữ các miền đã được phê duyệt, loại nguồn, quy tắc thu thập, ghi chú giấy phép và chủ sở hữu.

2. Lớp khám phá Sử dụng sitemaps, feeds, API, URL hạt giống và danh sách miền đã được phê duyệt để tìm các trang ứng cử viên.

3. Lớp lấy dữ liệu Sử dụng các client HTTP hoặc tự động hóa trình duyệt tùy thuộc vào độ phức tạp của nguồn.

4. Lớp định tuyến Chọn truy cập trực tiếp, proxy trung tâm dữ liệu, proxy dân cư, hoặc các lộ trình cụ thể theo khu vực dựa trên chính sách.

5. Lớp phân tích Trích xuất văn bản, tiêu đề, liên kết, bảng, siêu dữ liệu và các trường có cấu trúc.

6. Lớp chuẩn hóa Làm sạch HTML, loại bỏ nội dung không cần thiết, phát hiện ngôn ngữ, chuẩn hóa mã hóa và phân đoạn văn bản.

7. Lớp loại bỏ trùng lặp Loại bỏ nội dung trùng lặp chính xác và gần giống bằng cách sử dụng chuẩn hóa URL, băm và kiểm tra độ tương đồng.

8. Bộ lọc an toàn và tuân thủ Loại bỏ hoặc đánh dấu dữ liệu cá nhân, nội dung không an toàn, nguồn bị hạn chế và tài liệu có rủi ro bản quyền.

9. Lưu trữ và nguồn gốc Lưu trữ các bản lấy dữ liệu thô, văn bản đã được làm sạch, siêu dữ liệu, băm, phiên bản trình phân tích, dấu thời gian và ghi chú quyền.

10. Xuất khẩu sẵn sàng cho đào tạo Tạo các tập dữ liệu có phiên bản để tinh chỉnh, đánh giá, lập chỉ mục RAG hoặc làm phong phú thêm.

Một quy trình đơn giản trông như thế này:

Approved Sources
   ↓
Discovery
   ↓
Fetcher / Browser Worker
   ↓
Proxy and Routing Policy
   ↓
Parser
   ↓
Normalization
   ↓
Deduplication
   ↓
Safety and Rights Filters
   ↓
Versioned Dataset
   ↓
LLM Training / RAG / Evaluation

Mỗi giai đoạn nên có thể quan sát được. Nếu đầu ra của mô hình sau này trở nên nghi ngờ, nhóm nên có khả năng truy tìm nguồn, phiên bản, trình phân tích và bộ lọc nào đã tạo ra ví dụ đào tạo.

Lựa chọn Proxy cho Tải Công Dữ Liệu LLM

Lựa chọn proxy nên phụ thuộc vào loại nguồn và độ nhạy của dữ liệu.

Không sử dụng các tuyến proxy cao cấp ở mọi nơi theo mặc định. Sử dụng tuyến có chi phí thấp nhất có trách nhiệm mà trả về nội dung hoàn chỉnh, hợp lệ và được phê duyệt.

Kết xuất Trình duyệt: Sử dụng Có Chọn Lọc

Tự động hóa trình duyệt có thể hữu ích khi nội dung được kết xuất qua JavaScript hoặc ẩn sau các tương tác phía khách hàng. Tuy nhiên, trình duyệt tốn kém hơn so với khách hàng HTTP.

Sử dụng kết xuất trình duyệt khi:

• HTML tĩnh trống hoặc không đầy đủ
• văn bản quan trọng tải sau khi thực thi JavaScript
• cấu trúc trang phụ thuộc vào tương tác
• nội dung xuất hiện sau bộ lọc hoặc phân trang
• cần một ảnh chụp kết xuất để xác thực

Tránh kết xuất trình duyệt khi:

• có API chính thức
• RSS hoặc sơ đồ trang cung cấp đủ nội dung
• HTML tĩnh chứa văn bản cần thiết
• chi phí trình duyệt không cải thiện chất lượng dữ liệu

Các công cụ như Playwright, Puppeteer, và Selenium có thể hỗ trợ quy trình kết xuất, nhưng chúng chỉ nên được định tuyến đến các trang mà chi phí bổ sung là hợp lý.

Kiểm soát Chất lượng Dữ liệu cho Đào tạo LLM

Một quy trình dữ liệu web công khai nên từ chối nội dung kém ngay từ đầu.

Các kiểm tra chất lượng quan trọng bao gồm:

• phát hiện ngôn ngữ
• giới hạn độ dài nội dung
• loại bỏ nội dung mẫu
• phát hiện trùng lặp
• phát hiện gần trùng lặp
• trích xuất tiêu đề trang
• bảo tồn thứ bậc tiêu đề
• trích xuất nội dung chính
• phát hiện mã hóa bị hỏng
• bộ lọc nội dung không an toàn
• phát hiện và loại bỏ PII
• gán nhãn bản quyền hoặc quyền
• xem xét uy tín nguồn

Đối với việc sử dụng LLM, ngữ cảnh rất quan trọng. Lưu trữ tiêu đề, tiêu đề trang, URL nguồn, ngày xuất bản và cấu trúc phần bất cứ khi nào có thể. Một đoạn văn mà không có ngữ cảnh nguồn có thể kém hữu ích hơn so với cùng một đoạn văn có tiêu đề, tiêu đề, ngôn ngữ, ngày và siêu dữ liệu nguồn đính kèm.

Siêu Dữ Liệu Bạn Nên Bảo Tồn

Tối thiểu, lưu trữ:

• URL
• URL chuẩn
• miền nguồn
• thời gian thu thập
• băm nội dung
• ngôn ngữ
• khu vực hoặc GEO
• loại nguồn
• thẻ giấy phép hoặc quyền
• phiên bản trình phân tích
• phương pháp trích xuất
• trạng thái HTTP
• chuỗi chuyển hướng
• trạng thái robots hoặc chính sách
• trạng thái loại bỏ trùng lặp
• trạng thái bộ lọc an toàn

Siêu dữ liệu này rất có giá trị cho việc kiểm toán, gỡ lỗi, loại bỏ trùng lặp, đào tạo lại, gỡ bỏ và đánh giá.

Các Chỉ Số Chứng Minh Quy Trình Hoạt Động

Theo dõi các chỉ số qua nguồn, miền, lộ trình, ngôn ngữ và khu vực.

CPSR có nghĩa là chi phí cho mỗi yêu cầu thành công. Nói một cách đơn giản, nó cho bạn biết mỗi trang có thể sử dụng tốn bao nhiêu sau khi bao gồm chi phí cơ sở hạ tầng, proxy, trình duyệt, thử lại và chi phí thất bại.

Tuân Thủ và Quản Trị

Việc thu thập dữ liệu web công khai cho đào tạo LLM nên được quản lý ngay từ đầu.

Một quy trình có trách nhiệm nên:

• tôn trọng các luật áp dụng
• tuân theo các điều khoản trang và chỉ thị robots khi có thể
• tránh các bức tường đăng nhập, tường phí, hoặc vượt qua kiểm soát truy cập
• ưu tiên các API và nguồn cấp dữ liệu có giấy phép khi có sẵn
• giảm thiểu việc thu thập dữ liệu cá nhân
• lọc các trường nhạy cảm sớm
• bảo tồn nguồn gốc
• hỗ trợ quy trình gỡ bỏ và từ chối
• tài liệu mục đích thu thập
• duy trì quyền sở hữu của người đánh giá cho mỗi loại nguồn

Một sổ đăng ký chính sách miền đặc biệt hữu ích. Nó nên xác định những gì có thể được thu thập, tần suất, qua lộ trình nào, theo giấy phép hoặc ghi chú chính sách nào, và với mục đích gì.

Để lập kế hoạch rộng hơn, lập bản đồ các quy trình đã được phê duyệt với các trường hợp sử dụng proxy rõ ràng để các quyết định cơ sở hạ tầng vẫn liên kết với yêu cầu kinh doanh và tuân thủ.

Các Chế Độ Thất Bại Thường Gặp

Thu Thập Quá Rộng

Nhiều dữ liệu không phải lúc nào cũng tốt hơn. Việc thu thập không lọc có thể gây ra tiếng ồn, trùng lặp và sự không chắc chắn về pháp lý.

Bỏ Qua Siêu Dữ Liệu Quyền

Nếu bạn không thể theo dõi trạng thái giấy phép hoặc quyền nguồn, tập dữ liệu trở nên khó bảo vệ và tái sử dụng.

Đào Tạo Trên Nội Dung Trùng Lặp

Các trang bị trùng lặp có thể làm nặng nề một số cụm từ, thương hiệu, định dạng hoặc ý kiến.

Thiếu Tín Hiệu Khu Vực

Nếu các trang khu vực được thu thập từ vị trí sai, mô hình có thể học thông tin giá cả, khả năng có sẵn hoặc chính sách không chính xác.

Trôi Dạt Trình Phân Tích

Việc thiết kế lại trang có thể âm thầm làm hỏng việc trích xuất. Theo dõi tỷ lệ null, thay đổi độ dài nội dung và thất bại lược đồ.

Ô Nhiễm Đào Tạo/Thử Nghiệm

Nếu dữ liệu đánh giá trùng lặp với dữ liệu đào tạo, hiệu suất mô hình có thể trông tốt hơn thực tế.

Kế Hoạch Thí Điểm 30 Ngày

Sử dụng một thí điểm có kiểm soát trước khi mở rộng.

Tuần 1: Xem Xét Phạm Vi và Nguồn

Chọn 5–10 miền đã được phê duyệt. Định nghĩa các ngôn ngữ mục tiêu, loại nguồn, các trường, loại trừ và ghi chú quyền.

Tuần 2: Kiểm Tra Thu Thập và Định Tuyến

Chạy một lần thu thập giới hạn bằng cách sử dụng lộ trình có chi phí thấp nhất và có trách nhiệm. Thêm proxy chỉ khi cần thiết về vị trí, độ tin cậy truy cập hoặc phân phối có kiểm soát.

Tuần 3: Lọc Chất lượng và An toàn

Áp dụng loại bỏ trùng lặp, kiểm tra ngôn ngữ, loại bỏ nội dung mẫu, lọc thông tin cá nhân (PII) và gán nhãn giấy phép. Xem xét một mẫu một cách thủ công.

Tuần 4: Đánh giá Tập dữ liệu

Xuất một tập dữ liệu huấn luyện hoặc truy xuất nhỏ. Đo lường sự cải thiện so với một tiêu chuẩn cơ sở bằng cách sử dụng các nhiệm vụ đánh giá cụ thể cho sản phẩm.

Theo dõi:

• tỷ lệ thành công
• tỷ lệ chặn
• CPSR
• tỷ lệ loại bỏ trùng lặp
• tỷ lệ từ chối
• tỷ lệ thông qua sơ đồ
• độ trễ mới mẻ
• nâng cao đánh giá

Chỉ mở rộng các nguồn và chính sách định tuyến tạo ra giá trị có thể đo lường.

Kịch bản Thực tế: Trợ lý Kiến thức Sản phẩm

Một công ty muốn cải thiện trợ lý hỗ trợ sản phẩm.

Nhóm thu thập tài liệu sản phẩm chính thức, các câu hỏi thường gặp công khai, ghi chú phát hành và trang trung tâm trợ giúp. Sơ đồ trang và API bao phủ hầu hết các nguồn. Một vài trang cần được hiển thị vì nội dung tải động.

Dòng công việc bảo tồn tiêu đề trang, tiêu đề phần, ngày cập nhật, URL nguồn và nhãn giấy phép. Việc loại bỏ trùng lặp loại bỏ điều hướng lặp lại và nội dung mẫu.

Trợ lý cải thiện vì tập dữ liệu tập trung, hiện tại, có thể theo dõi và phù hợp với miền sản phẩm.

Kịch bản Thực tế: Thông tin Thị trường Khu vực

Một nhóm xây dựng một trợ lý nghiên cứu được hỗ trợ bởi LLM cho phân tích thị trường khu vực.

Hệ thống cần các trang giá công khai, tình trạng sẵn có của cửa hàng, mô tả sản phẩm và các trang chính sách theo quốc gia. Nhóm sử dụng định tuyến theo khu vực cho các trang thay đổi theo vị trí và xác thực tiền tệ, ngôn ngữ và khu vực vận chuyển trước khi lưu trữ nội dung.

Điều này ngăn chặn mô hình học thông tin chung hoặc sai khu vực.

Câu hỏi Thường gặp

Thu thập dữ liệu web công khai cho đào tạo LLM là gì?

Đó là quá trình thu thập nội dung công khai được phép, thu thập một cách có trách nhiệm, làm sạch nó, gán siêu dữ liệu và chuẩn bị cho việc đào tạo, đánh giá, truy xuất hoặc làm phong phú mô hình.

Dữ liệu web công khai có luôn an toàn để sử dụng cho đào tạo LLM không?

Không. Tính công khai không tự động cấp quyền đào tạo. Các nhóm nên xem xét các điều khoản, trạng thái giấy phép, chỉ thị của robot, quy tắc quyền riêng tư và yêu cầu tuân thủ nội bộ.

Tôi có cần proxy để thu thập dữ liệu LLM không?

Không phải lúc nào cũng vậy. Sử dụng API chính thức, nguồn cấp dữ liệu, tập dữ liệu mở và truy cập trực tiếp nơi chúng hoạt động. Proxy hữu ích khi việc thu thập cần kiểm soát địa lý, định tuyến phân phối hoặc độ tin cậy tốt hơn trên các nguồn công khai.

Loại proxy nào là tốt nhất để thu thập dữ liệu web công khai?

Proxy trung tâm dữ liệu thường hiệu quả cho nội dung tĩnh công khai. Proxy dân cư thì tốt hơn cho các trang nhạy cảm về địa lý hoặc hướng tới người tiêu dùng, nơi vị trí ảnh hưởng đến nội dung trả về.

Tôi có nên sử dụng tự động hóa trình duyệt không?

Chỉ khi cần thiết. Tự động hóa trình duyệt hữu ích cho các trang nặng JavaScript nhưng làm tăng chi phí và độ phức tạp. Sử dụng các khách hàng HTTP, API, nguồn cấp dữ liệu và sơ đồ trang trước.

Tôi nên lưu trữ siêu dữ liệu nào?

Lưu trữ URL, URL chuẩn, thời gian thu thập, ngôn ngữ, khu vực, loại nguồn, nhãn giấy phép, băm nội dung, phiên bản trình phân tích, phương pháp trích xuất và trạng thái lọc an toàn.

Làm thế nào tôi có thể giảm dữ liệu trùng lặp?

Sử dụng URL chuẩn, URL chuẩn hóa, băm nội dung, phát hiện gần giống nhau và loại bỏ trùng lặp ở cấp nguồn trước khi xuất các mảnh đào tạo.

Làm thế nào tôi biết liệu dữ liệu có cải thiện mô hình không?

Chạy một đánh giá có kiểm soát. So sánh hiệu suất tiêu chuẩn cơ sở với tập dữ liệu mới bằng cách sử dụng các nhiệm vụ cụ thể cho sản phẩm như độ chính xác câu trả lời, tính chính xác, tính hữu ích, chất lượng truy xuất hoặc tỷ lệ leo thang giảm.

Những suy nghĩ cuối cùng

Việc thu thập dữ liệu web công khai cho đào tạo LLM nên được coi là một quy trình dữ liệu có kỷ luật, không phải là một bài tập thu thập hàng loạt. Các hệ thống tốt nhất bắt đầu với chiến lược nguồn, xem xét quyền và yêu cầu chất lượng trước khi bất kỳ việc thu thập quy mô lớn nào bắt đầu.

Sử dụng các nguồn chính thức và tập dữ liệu có giấy phép mở khi có thể. Thêm sơ đồ trang, nguồn cấp dữ liệu và việc thu thập dữ liệu một cách tôn trọng để lấp đầy các khoảng trống. Chỉ sử dụng hạ tầng proxy khi nó cải thiện độ bao phủ, độ tin cậy hoặc độ chính xác địa lý. Bảo tồn siêu dữ liệu, loại bỏ nội dung không an toàn hoặc không cần thiết, và đo lường quy trình bằng đầu ra có thể sử dụng - không phải số lượng trang thô.

Đối với các nhóm đang lên kế hoạch cho các hoạt động dữ liệu AI lớn hơn, SquidProxies hướng dẫn proxy và kế hoạch và giá cả proxy có thể giúp điều chỉnh chiến lược định tuyến, quy mô và chi phí với nhu cầu của quy trình dữ liệu của bạn.