网络解锁器是一种托管的抓取服务,处理反机器人措施,例如 CAPTCHA、浏览器指纹、重试和代理选择,并通过单一端点返回目标页面。您无需自己调整请求头和轮换 IP,只需发送请求,服务就会处理如何获得成功的响应。
一些提供商将同一类别称为“网络解锁器”。此类别中的服务可以用作代理端点,您可以在自定义请求头中传递选项,或通过 REST API。
网络解锁器处理的内容
- CAPTCHA 和挑战: 服务自动解决 CAPTCHA 和反机器人挑战。
- 请求头和指纹: 它设置请求头和浏览器指纹,以匹配真实用户流量。
- 重试: 失败的尝试会使用不同的配置进行重试,直到请求成功或服务放弃。
- 代理选择和轮换: 它选择并轮换用于每个目标的代理。
- JavaScript 渲染: 一些服务可以根据请求渲染 JavaScript,例如通过请求头。
网络解锁器与标准代理的比较
标准代理转发您的请求,并将检测处理留给您。网络解锁器在代理网络之上添加了反机器人逻辑。一些服务仅对返回成功响应的请求收费。
输出和限制
- 输出: 服务返回目标页面,通常为原始 HTML。一些服务可以在您设置格式选项时返回 JSON。
- 无浏览器自动化: 网络解锁器并不适用于点击、填写表单或通过端点驱动无头浏览器(如 Playwright、Selenium 或 Puppeteer)。
- 证书检查: 当用作代理端点时,一些服务要求客户端跳过该端点的 TLS 证书验证。