Cách Các Trang Web Phát Hiện Lưu Lượng Proxy: Tín Hiệu, Bài Kiểm Tra và Các Biện Pháp Phòng Ngừa Thực Tiễn

Lưu lượng proxy không được phát hiện chỉ bằng một tín hiệu duy nhất. Một trang web hiếm khi chặn một yêu cầu chỉ vì nó đến từ một proxy. Thay vào đó, nó thường so sánh danh tính mạng, hành vi trình duyệt, thời gian yêu cầu, tín hiệu thiết bị, lịch sử phiên, và tính nhất quán về vị trí. Khi những tín hiệu này không khớp nhau, sự cản trở gia tăng: CAPTCHAs xuất hiện, trang trả về dữ liệu trống, phiên bị đặt lại, hoặc yêu cầu bị giới hạn tần suất.

Đối với các nhóm sử dụng web scraping proxies, tự động hóa trình duyệt, giám sát SEO, trí tuệ giá cả, hoặc nghiên cứu nhắm mục tiêu địa lý, việc hiểu biết về phát hiện proxy là rất quan trọng. Nó giúp các nhóm chọn loại proxy phù hợp, định hình lưu lượng một cách có trách nhiệm, xác thực chất lượng dữ liệu, và giảm thiểu các khối không cần thiết mà không phải dựa vào suy đoán.

Các trang web phát hiện lưu lượng proxy bằng cách kết hợp danh tiếng IP, phân loại ASN, dấu vân tay TLS và HTTP, dấu vân tay trình duyệt, tín hiệu DNS và WebRTC, tính nhất quán địa lý, hành vi cookie, và mẫu lưu lượng. Các hệ thống mạnh nhất sẽ tính điểm các tín hiệu này cùng nhau, sau đó áp dụng sự cản trở như giới hạn tần suất, trang chuyển tiếp, CAPTCHAs, khối mềm, hoặc khối hoàn toàn.

Ý Nghĩa Của Việc Phát Hiện Proxy

Phát hiện proxy là quá trình mà các trang web sử dụng để quyết định xem lưu lượng có vẻ đến từ một người dùng bình thường, một hệ thống doanh nghiệp, một trình thu thập tìm kiếm, một bot, một công cụ thu thập dữ liệu, một công cụ tự động hóa, hay một mạng proxy.

Một proxy tự nó không tự động bị nghi ngờ. Nhiều hệ thống hợp pháp sử dụng proxy cho việc định tuyến, bảo mật, thử nghiệm, địa phương hóa, nghiên cứu, giám sát, và hoạt động kinh doanh.

Vấn đề là tính nhất quán của tín hiệu.

Một phiên trông có vẻ nghi ngờ hơn khi:

• vị trí IP xung đột với múi giờ trình duyệt
• User-Agent tuyên bố là Chrome nhưng hành vi TLS không khớp với Chrome
• cookie được đặt lại trong mỗi yêu cầu
• hàng ngàn trang được truy xuất với thời gian giống hệt nhau
• cùng một dấu vân tay trình duyệt xuất hiện trên nhiều IP
• WebRTC tiết lộ một đường dẫn mạng khác
• IP thuộc về một ASN lưu trữ nhưng phiên hoạt động như một người dùng tiêu dùng
• nội dung địa phương hóa không khớp với thị trường yêu cầu

Các hệ thống phát hiện tìm kiếm những sự không khớp và mẫu này.

Tại Sao Các Trang Web Phát Hiện Lưu Lượng Proxy

Các trang web sử dụng phát hiện proxy vì nhiều lý do:

• giảm lạm dụng và gian lận
• bảo vệ hệ thống tài khoản
• quản lý tải máy chủ
• ngăn chặn lạm dụng hàng tồn kho
• giới hạn thu thập dữ liệu không được phép
• giảm spam và tấn công thông tin xác thực
• bảo vệ dữ liệu giá cả hoặc thị trường
• thực thi quy định cấp phép hoặc quy tắc truy cập khu vực
• bảo tồn chất lượng phân tích
• tuân thủ các chính sách bảo mật

Đối với các nhóm dữ liệu, điều này có nghĩa là chiến lược proxy cần phải có trách nhiệm, có thể đo lường, và phù hợp với quy trình làm việc. Nếu một trang cung cấp API chính thức, nguồn đối tác, hoặc đường dẫn dữ liệu có giấy phép phù hợp với trường hợp sử dụng, thì con đường đó nên được xem xét trước tiên.

Các Tín Hiệu Cốt Lõi Mà Các Trang Web Sử Dụng

Phát hiện proxy thường kết hợp các tín hiệu từ nhiều lớp khác nhau.

Các lớp quan trọng nhất là:

• danh tiếng mạng và IP
• phân loại ASN và lưu trữ
• dấu vân tay TLS và HTTP
• dấu vân tay trình duyệt và thiết bị
• hành vi DNS và WebRTC
• tính nhất quán địa lý và địa phương
• hành vi cookie và lưu trữ
• thời gian yêu cầu và mẫu điều hướng
• thách thức và bẫy hoạt động

Mỗi tín hiệu đều không hoàn hảo khi đứng một mình. Khi kết hợp lại, chúng tạo ra một điểm rủi ro.

Tín Hiệu Danh Tiếng Mạng và IP

Lớp đầu tiên là IP chính nó.

Các trang web có thể đánh giá:

• danh tiếng IP
• lịch sử lạm dụng
• loại ASN
• phạm vi nhà cung cấp lưu trữ
• mạng proxy đã biết
• cơ sở dữ liệu proxy mở
• danh sách đen
• khối lượng yêu cầu từ các IP gần đó
• hành vi subnet
• mẫu DNS ngược
• siêu dữ liệu quốc gia hoặc thành phố

Datacenter proxies nhanh chóng và tiết kiệm chi phí, nhưng một số trang web đối xử với các ASN lưu trữ hoặc đám mây một cách thận trọng hơn. Điều này không có nghĩa là các proxy trung tâm dữ liệu là không thể sử dụng. Chúng có thể hoạt động rất tốt cho các trang công cộng, API, sơ đồ trang, giám sát, và quy trình làm việc có ít cản trở hơn.

Các proxy dân cư đi qua các mạng ISP tiêu dùng và thường tốt hơn cho các quy trình làm việc nhạy cảm với địa lý hoặc hướng đến người tiêu dùng. Chúng có thể giảm một số nghi ngờ ở cấp độ IP, nhưng không khắc phục được dấu vân tay trình duyệt kém, thời gian yêu cầu quá mức hoặc thiết kế phiên kém.

Để so sánh định tuyến rộng hơn, xem Giải thích về Proxy Trung tâm Dữ liệu, Proxy Dân cư và Proxy ISP.

Kiểm tra ASN và Hosting

ASN là viết tắt của Số Hệ Thống Tự Động. Nó xác định mạng sở hữu hoặc công bố một khối địa chỉ IP.

Các trang web có thể sử dụng dữ liệu ASN để phân loại lưu lượng truy cập như:

• nhà cung cấp đám mây
• nhà cung cấp dịch vụ lưu trữ
• trung tâm dữ liệu
• ISP
• nhà mạng di động
• mạng doanh nghiệp
• băng thông dân cư

Nếu một phiên tuyên bố hành xử như một người dùng hộ gia đình bình thường nhưng đến từ một ASN trung tâm dữ liệu đã biết, điểm rủi ro có thể tăng lên. Điều này đặc biệt đúng trên các trang web hướng đến người tiêu dùng, nền tảng thương mại điện tử, trang du lịch, nền tảng xã hội và dịch vụ dựa trên tài khoản.

Một chiến lược proxy tốt phù hợp loại proxy với khối lượng công việc. Sử dụng các tuyến trung tâm dữ liệu rẻ hơn nơi chúng hoạt động. Sử dụng các tuyến dân cư hoặc ISP nơi sự tin cậy của phiên, độ chính xác địa lý hoặc danh tính mạng giống như người tiêu dùng là quan trọng.

Dấu Vân Tay TLS và HTTP

Các trang web có thể kiểm tra cách một khách hàng kết nối trước khi trang tải.

Dấu vân tay TLS xem xét các chi tiết như:

• phiên bản TLS
• bộ mã hóa
• thứ tự mở rộng
• nhóm hỗ trợ
• hành vi ALPN
• cài đặt HTTP/2
• hành vi tái sử dụng kết nối

Một trình duyệt Chrome bình thường, một khách hàng HTTP Python, một trình duyệt không giao diện và một thư viện thu thập thông tin lỗi thời có thể tạo ra các dấu vân tay kết nối khác nhau.

Nếu User-Agent nói “Chrome” nhưng hành vi TLS không giống Chrome, phiên có thể trông như giả mạo.

Đó là lý do tại sao chỉ sao chép tiêu đề trình duyệt là không đủ. Toàn bộ ngăn xếp khách hàng phải nhất quán.

Đối với các mục tiêu có ma sát cao, việc thu thập dựa trên trình duyệt có thể hành xử nhất quán hơn so với một khách hàng HTTP nhẹ với các tiêu đề được xây dựng thủ công. Đối với các mục tiêu có ma sát thấp hơn, các khách hàng HTTP vẫn có thể hiệu quả hơn và hoàn toàn đủ.

Tính Nhất Quán của Tiêu Đề

Tiêu đề là một lớp phát hiện khác.

Các trang web có thể đánh giá:

• thứ tự tiêu đề
• thiếu tiêu đề trình duyệt
• kiểu chữ không bình thường
• Accept-Language
• Accept-Encoding
• giá trị sec-ch-ua
• tính nhất quán của User-Agent
• hành vi referrer
• xử lý cookie
• hỗ trợ nén

Những sai lầm phổ biến bao gồm:

• sử dụng User-Agent Chrome hiện đại mà không có tiêu đề trình duyệt phù hợp
• đặt Accept-Language mâu thuẫn với khu vực proxy
• gửi tiêu đề theo thứ tự không phải trình duyệt
• tái sử dụng cùng một tiêu đề trong mọi phiên
• tuyên bố di động nhưng sử dụng hành vi viewport máy tính để bàn
• không gửi cookie qua các bước duyệt lặp lại

Các tiêu đề nên phù hợp với khách hàng và thị trường mục tiêu. Một phiên từ Pháp không nên vô tình mang theo một ngôn ngữ chỉ dành cho Mỹ trừ khi có lý do cố ý.

Dấu Vân Tay Trình Duyệt và Thiết Bị

Dấu vân tay trình duyệt là một trong những lớp quan trọng nhất trong các quy trình làm việc dựa trên trình duyệt.

Các trang web có thể kiểm tra:

• User-Agent
• kích thước màn hình
• bộ nhớ thiết bị
• độ đồng thời phần cứng
• múi giờ
• ngôn ngữ
• phông chữ đã cài đặt
• hành vi canvas
• bộ xử lý WebGL
• API âm thanh
• thiết bị truyền thông
• plugin trình duyệt
• cờ tự động hóa
• cookie và lưu trữ cục bộ
• hành vi WebRTC

Một proxy thay đổi tuyến mạng. Nó không tự động thay đổi dấu vân tay trình duyệt.

Ví dụ, một phiên có thể sử dụng IP dân cư từ Đức nhưng phơi bày:

• múi giờ Mỹ
• cài đặt ngôn ngữ chỉ tiếng Anh
• phông chữ giống như Linux
• đầu ra WebGL không phổ biến
• thiếu thiết bị truyền thông
• cờ tự động hóa

Sự kết hợp đó có thể trông không nhất quán.

Để có hướng dẫn sâu hơn, xem Dấu Vân Tay Trình Duyệt cho Thu Thập Thông Tin Web.

DNS, WebRTC và Rò Rỉ Môi Trường

Một số cấu hình proxy thất bại vì trình duyệt hoặc môi trường thực thi tiết lộ chi tiết mạng bên ngoài đường dẫn proxy.

Các điểm rò rỉ phổ biến bao gồm:

• Vị trí máy chủ DNS
• Thông tin mạng WebRTC
• Tiết lộ IP cục bộ
• Tiện ích mở rộng trình duyệt
• Múi giờ hệ thống
• Quy tắc bỏ qua proxy
• Quyền truy cập địa lý không nhất quán

Nếu lưu lượng HTTP thoát ra qua một quốc gia nhưng tín hiệu DNS hoặc WebRTC gợi ý một đường dẫn mạng khác, phiên làm việc trở nên kém nhất quán.

Điều này đặc biệt quan trọng đối với tự động hóa trình duyệt và các thiết lập chống phát hiện. Một kiểm tra IP đơn giản là không đủ. Các nhóm nên xác thực hành vi DNS, hành vi WebRTC, múi giờ, ngôn ngữ và nội dung trả về.

Để biết thêm chi tiết, xem WebRTC Leaks: Tại sao chúng phá vỡ các thiết lập chống phát hiện.

Mismatch Địa lý và Địa phương

Sự không khớp địa lý vừa là một vấn đề phát hiện vừa là một vấn đề chất lượng dữ liệu.

Một phiên làm việc có thể trông đáng ngờ khi:

• Quốc gia IP và múi giờ trình duyệt mâu thuẫn
• Ngôn ngữ không khớp với khu vực
• Tiền tệ không khớp với cửa hàng
• Cookie gợi ý một quốc gia khác
• Khu vực giao hàng thay đổi giữa phiên làm việc
• Nội dung cấp thành phố không khớp với lộ trình proxy

Đối với SEO, giá cả, du lịch và xác minh quảng cáo, sự không khớp địa lý cũng có thể làm sai dữ liệu. Một kết quả thu thập từ vị trí sai có thể vẫn là một trang hợp lệ, nhưng nó không hợp lệ cho thị trường dự kiến.

Xác thực độ chính xác địa lý với nội dung trả về, không chỉ với nhãn IP.

Kiểm tra:

• Tiền tệ
• Ngôn ngữ
• Kết quả gói địa phương
• Bộ chọn cửa hàng
• Khu vực giao hàng
• URL trang
• Biểu ngữ khu vực
• Đoạn văn bản địa phương hóa
• Tính khả dụng theo quốc gia

Tín hiệu Hành vi

Các trang web cũng đánh giá cách lưu lượng truy cập hoạt động.

Các mẫu giống như bot bao gồm:

• Các yêu cầu được thực hiện đúng thời gian
• Tính đồng thời cao từ một IP hoặc subnet
• Không cuộn hoặc tương tác
• Truy cập trực tiếp vào nhiều trang sản phẩm sâu
• Không tải tài sản
• Không có thời gian lưu lại
• Các lộ trình điều hướng giống hệt nhau
• Thử lại quá mức sau khi thất bại
• Truy cập lặp lại vào cùng một mẫu
• Phiên một trang ở quy mô lớn

Người dùng bình thường thì không nhất quán. Họ tạm dừng, cuộn, tải tài sản, di chuyển giữa các loại trang và hành xử khác nhau giữa các phiên làm việc.

Điều này không có nghĩa là các nhóm nên giả mạo hành vi con người một cách liều lĩnh. Nó có nghĩa là lưu lượng truy cập nên được định hình một cách có trách nhiệm: giảm tính đồng thời, lập lịch dựa trên hàng đợi, lùi lại, giới hạn thử lại và phân đoạn khối lượng công việc.

Thách thức và Bẫy Chủ động

Một số trang web sử dụng các cơ chế chủ động để phân loại lưu lượng truy cập.

Các cơ chế này có thể bao gồm:

• Thông báo CAPTCHA
• Thử thách JavaScript
• Nhiệm vụ chứng minh công việc
• Liên kết honeypot
• Trường biểu mẫu ẩn
• Kết xuất chậm
• SDK phát hiện bot
• Trang xen kẽ
• Mẫu chặn mềm

Một chặn mềm đặc biệt quan trọng. Trang có thể trả về HTTP 200, nhưng nội dung không đầy đủ, lỗi thời, chung chung hoặc thiếu dữ liệu cần thiết.

Các ví dụ về chặn mềm bao gồm:

• Giá sản phẩm trống
• Kết quả tự nhiên bị thiếu
• Trang tìm kiếm chung chung
• Nội dung giống hệt nhau lặp lại
• CAPTCHA ẩn trong HTML
• Hàng tồn kho không đầy đủ
• Nội dung khu vực sai
• Dữ liệu giữ chỗ

Hệ thống của bạn nên xác thực nội dung, không chỉ mã trạng thái.

Cách Các Loại Proxy Khác Nhau Bị Đánh Dấu

Proxy Trung Tâm Dữ Liệu

Proxy trung tâm dữ liệu có thể bị đánh dấu khi mục tiêu rất nghi ngờ các ASN hosting hoặc dải IP đám mây. Chúng vẫn có thể hoạt động tốt trên các trang công cộng ít ma sát và khối lượng công việc lớn.

Proxy Dân Cư

Proxy dân cư giảm bớt một số nghi ngờ ở cấp độ mạng nhưng vẫn có thể bị phát hiện thông qua dấu vân tay trình duyệt, hành vi phiên hoặc không khớp địa lý.

Proxy ISP

Proxy ISP có thể cung cấp các phiên ổn định và danh tiếng mạnh mẽ hơn so với các IP trung tâm dữ liệu tiêu chuẩn. Chúng hữu ích khi sự liên tục là quan trọng.

Proxy Di Động

Proxy di động có thể hoạt động tốt cho các quy trình làm việc ưu tiên di động, nhưng chúng có thể tốn kém và ít dự đoán hơn. Chúng không phải lúc nào cũng cần thiết cho việc thu thập dữ liệu web chung.

Cách tiếp cận tốt nhất thường là kết hợp. Định tuyến các trang dễ dàng thông qua các proxy tiết kiệm chi phí và giữ các lộ trình mạnh mẽ hơn cho các quy trình làm việc nhạy cảm.

Phiên Lặp Lại So Với Phiên Dính

Chiến lược xoay vòng proxy ảnh hưởng đến rủi ro phát hiện.

Proxy xoay vòng hữu ích cho:

• thu thập dữ liệu công cộng không trạng thái
• thu thập URL rộng
• kiểm tra SERP độc lập
• nghiên cứu thị trường
• các trang công cộng có khối lượng lớn

Các phiên dính hoặc tĩnh thì tốt hơn cho:

• đăng nhập
• giỏ hàng
• quy trình thanh toán
• bảng điều khiển tài khoản
• phân trang
• lô SEO địa phương
• quy trình làm việc theo khu vực
• tự động hóa trình duyệt

Để biết thêm ngữ cảnh, hãy xem Proxy Xoay Lại So Với Tĩnh.

Việc xoay vòng quá mức có thể gây ra vấn đề giống như việc không xoay vòng đủ. Nếu IP thay đổi quá thường xuyên trong khi cookie và danh tính trình duyệt vẫn giữ nguyên, phiên có thể trông không nhất quán.

Những Gì Cần Đo

Việc phát hiện proxy trở nên dễ quản lý hơn khi được đo lường.

Theo dõi:

CPSR có nghĩa là chi phí cho mỗi yêu cầu thành công.

Nói một cách đơn giản: CPSR cho bạn biết mỗi kết quả sử dụng được tốn bao nhiêu sau khi chi tiêu cho proxy, tính toán, thử lại, hiển thị trình duyệt và các thất bại.

Các Biện Pháp Thực Tiễn Giảm Ma Sát

Mục tiêu không phải là vượt qua các kiểm soát. Mục tiêu là xây dựng các quy trình hợp lý, có trách nhiệm giúp giảm thiểu ma sát không cần thiết.

Sử dụng các thực hành sau:

• Khớp loại proxy với khối lượng công việc.
• Căn chỉnh múi giờ, ngôn ngữ và khu vực.
• Sử dụng phiên cố định cho các quy trình nhiều bước.
• Sử dụng xoay vòng cho việc thu thập không trạng thái.
• Giữ cho dấu vân tay trình duyệt nhất quán theo phiên.
• Tránh đồng thời quá mức.
• Thêm giới hạn thử lại và thời gian chờ.
• Xác thực các khối mềm.
• Lưu trữ mẫu thất bại để gỡ lỗi.
• Giám sát độ chính xác địa lý.
• Tôn trọng các điều khoản của trang web và chính sách nội bộ.
• Ưu tiên các API hoặc nguồn cấp dữ liệu có giấy phép khi có sẵn.

Để được trợ giúp triển khai, hãy xem các hướng dẫn proxy của SquidProxies.

Tình Huống Thực Tế: Giám Sát Thương Mại Điện Tử

Một nhóm định giá giám sát các trang sản phẩm của nhà bán lẻ ở nhiều quốc gia.

Cài đặt ban đầu xoay vòng IP trên mỗi yêu cầu, sử dụng tiêu đề chung và coi HTTP 200 là thành công. Các báo cáo cho thấy thiếu giá và tiền tệ không nhất quán.

Cài đặt cải tiến sử dụng các proxy dân cư cho các trang sản phẩm theo khu vực, proxy trung tâm dữ liệu cho các trang danh mục rủi ro thấp, phiên cố định cho các kiểm tra cửa hàng và các quy tắc xác thực cho giá, tiền tệ, khả năng có sẵn và khu vực.

Nhóm giảm thiểu các khối mềm và cải thiện chất lượng dữ liệu mà không phải chuyển mọi yêu cầu đến lộ trình đắt nhất.

Tình Huống Thực Tế: Theo Dõi SEO Địa Phương

Một nhóm SEO theo dõi thứ hạng ở nhiều thành phố.

Quy trình làm việc ban đầu sử dụng một lộ trình proxy chung và các cài đặt ngôn ngữ không nhất quán. Một số SERP đến từ thành phố sai.

Quy trình làm việc cải tiến sử dụng các proxy dân cư nhắm mục tiêu theo thành phố, căn chỉnh ngôn ngữ và tham số tìm kiếm, và xác thực địa chỉ gói địa phương từ các kết quả trả về.

Điều này cải thiện độ chính xác địa lý và làm cho các báo cáo thứ hạng đáng tin cậy hơn.

Những Sai Lầm Thường Gặp Cần Tránh

Đối Xử Với Proxy Như Lớp Phát Hiện Duy Nhất

Proxy ảnh hưởng đến danh tính mạng, nhưng hành vi trình duyệt, TLS, tiêu đề, phiên và thời gian cũng quan trọng.

Bỏ Qua Các Khối Mềm

Mã trạng thái thành công không đảm bảo dữ liệu hợp lệ.

Xoay Vòng Quá Thường Xuyên

Xoay vòng quá nhiều có thể phá vỡ lòng tin của phiên.

Sử Dụng Một Loại Proxy Ở Mọi Nơi

Các trang khác nhau cần các chiến lược định tuyến khác nhau.

Không Khớp Địa Phương Và IP

Múi giờ, ngôn ngữ, tiền tệ và vị trí proxy nên căn chỉnh.

Thử Lại Quá Nhiều Yêu Cầu Thất Bại

Thử lại sâu có thể làm tăng chi phí và có thể làm trầm trọng thêm các mẫu khối.

Câu Hỏi Thường Gặp

Các trang web phát hiện lưu lượng proxy như thế nào?

Các trang web phát hiện lưu lượng proxy bằng cách kết hợp danh tiếng IP, phân loại ASN, dấu vân tay TLS, dấu vân tay trình duyệt, hành vi DNS và WebRTC, độ nhất quán địa lý, cookie và mẫu lưu lượng.

Các proxy dân cư có thể bị phát hiện không?

Có. Các proxy dân cư có thể giảm một số nghi ngờ ở cấp độ IP, nhưng các trang web vẫn có thể phát hiện dấu vân tay trình duyệt không nhất quán, hành vi hung hăng, sự không khớp địa lý hoặc bất thường trong phiên.

Các proxy trung tâm dữ liệu có xấu cho việc thu thập dữ liệu không?

Không. Các proxy trung tâm dữ liệu có thể hoạt động tốt cho các trang công cộng, mục tiêu ít ma sát, API, sơ đồ trang và quy trình làm việc có khối lượng lớn. Chúng ít phù hợp hơn cho các mục tiêu mà rất không tin tưởng vào các ASN lưu trữ.

Khối mềm là gì?

Khối mềm xảy ra khi một trang tải nhưng trả về nội dung không sử dụng được hoặc không đầy đủ, chẳng hạn như thiếu giá, mẫu chung, trang CAPTCHA hoặc kết quả sai khu vực.

Làm thế nào để tôi giảm các khối proxy?

Sử dụng loại proxy phù hợp, giảm đồng thời, căn chỉnh tín hiệu trình duyệt và địa lý, xác thực các phiên, sử dụng thời gian chờ, giới hạn thử lại và phát hiện các khối mềm sớm.

Dấu vân tay trình duyệt có quan trọng không?

Có, đặc biệt là đối với tự động hóa trình duyệt. Một lộ trình proxy tốt vẫn có thể thất bại nếu các tín hiệu trình duyệt không nhất quán hoặc rõ ràng là tự động.

Tôi có nên xoay vòng IP mỗi yêu cầu không?

Chỉ cho các quy trình không trạng thái mà mỗi yêu cầu là độc lập. Đối với đăng nhập, giỏ hàng, phân trang, kiểm tra địa phương hoặc phiên trình duyệt, hãy sử dụng các phiên cố định.

Tôi nên giám sát điều gì?

Theo dõi tỷ lệ thành công, tỷ lệ chặn, tỷ lệ chặn mềm, độ sâu thử lại, CPSR, sự sống sót của phiên, độ chính xác địa lý, độ trễ, tỷ lệ lỗi phân tích cú pháp và tỷ lệ CAPTCHA.

Những Suy Nghĩ Cuối Cùng

Các trang web phát hiện lưu lượng proxy bằng cách tìm kiếm sự không nhất quán. Địa chỉ IP, ASN, hành vi TLS, tiêu đề, dấu vân tay trình duyệt, lộ trình DNS, hành vi WebRTC, ngôn ngữ địa phương, cookie và thời gian yêu cầu đều cần phải hợp lý với nhau.

Các hệ thống proxy mạnh nhất không được xây dựng xung quanh một loại proxy hoặc một mẹo duy nhất. Chúng được xây dựng dựa trên sự nhất quán, đo lường và định tuyến có trách nhiệm.

Sử dụng proxy trung tâm dữ liệu khi tốc độ và chi phí quan trọng. Sử dụng proxy dân cư khi độ chính xác địa lý và danh tính mạng giống như người tiêu dùng quan trọng. Sử dụng phiên dính khi quy trình làm việc cần sự liên tục. Xác thực nội dung trả về trước khi tính toán thành công.

Bắt đầu với một thử nghiệm nhỏ, đo lường các chỉ số đúng, và chỉ mở rộng các lộ trình sản xuất dữ liệu hợp lệ với chi phí có thể dự đoán.