爬虫的速率限制最佳实践

速率限制可以决定一个抓取管道是保持稳定还是在阻塞、重试和成本上升的情况下崩溃。当请求节奏过于激进时,抓取工具会触发429响应、403阻塞、验证码页面、超时和软阻塞。当节奏过于保守时,数据变得陈旧,基础设施则处于未被充分利用的状态。
对于运行价格跟踪器、SEO爬虫、竞争监测、旅行票价检查、广告验证或AI数据管道的团队来说,速率限制不仅仅是一个技术设置。它是一种操作策略,保护成功率、数据质量、基础设施成本和目标网站的稳定性。
抓取工具的速率限制最佳实践包括设置每个域、每个路径、每个代理和每个会话的限制;添加抖动;使用自适应回退;尊重速率限制信号;监控阻塞率和延迟;以及根据每个成功请求的成本进行调优。
一个好的抓取工具不应该仅仅以最快的速度运行。它应该在以可预测的成本返回有效数据的同时,尽可能快地运行。
什么是抓取中的速率限制?
速率限制是控制抓取工具发送多少请求、发送的速度以及当目标开始显示压力或摩擦时如何响应。
在抓取中,速率限制通常控制:
- 每秒请求数
- 并发请求数
- 每个代理的请求数
- 每个会话的请求数
- 每个域的请求数
- 每种路径类型的请求数
- 重试频率
- 阻塞后的冷却时间
- 跨时间的抓取计划
抓取工具可以通过网络抓取代理、浏览器自动化、HTTP客户端或类似API的端点发送流量。无论技术堆栈如何,请求节奏都必须得到管理。
没有速率限制,即使是构建良好的抓取工具也可能看起来具有攻击性,过载目标系统,或通过重试和阻塞破坏自身的成本效率。
为什么速率限制很重要
速率限制影响四个主要结果:访问、成本、新鲜度和数据质量。
不良的速率限制可能导致:
- 429 请求过多响应
- 403 禁止错误
- 验证码或挑战页面
- Cloudflare阻塞
- 连接重置
- 高重试深度
- 会话失败
- 错误或不完整的数据
- 代理支出膨胀
- 陈旧的报告
强大的速率限制帮助团队:
- 降低阻塞率
- 提高成功率
- 保护会话存活
- 降低每成功请求成本(CPSR)
- 稳定抓取窗口
- 减少软阻塞
- 避免重试风暴
- 收集更干净的数据
CPSR意味着每个成功请求的成本。
通俗来说:CPSR告诉你每个有效结果在代理支出、计算、浏览器渲染、重试和失败尝试后的成本。
如果额外的速度增加了CPSR并降低了数据质量,那么更快的抓取工具并不一定更好。
核心概念:每秒请求数、并发和身份
在设置限制之前,了解三个主要控制。
每秒请求数
每秒请求数(RPS)衡量每秒开始多少个新请求。以5 RPS运行的抓取工具每秒开始五个请求。
RPS控制节奏。
并发
并发衡量同时进行多少个请求。一个抓取工具每秒可能只开始1个请求,但如果页面加载缓慢,仍然可能有20个并发请求。
并发控制压力。
身份
网站通常通过身份限制流量,而不仅仅是通过域。身份可能包括:
- IP地址
- 代理端点
- 子网
- ASN
- 会话cookie
- 账户
- 浏览器配置文件
- 设备指纹
- 地理路线
仅控制全局RPS的速率限制仍可能过载一个代理、一个会话或一个路径。生产抓取工具需要按身份和目标设置限制。
快速回答:抓取工具的最佳速率限制策略
最佳默认策略是:
- 使用令牌桶或类似的限制器来控制平均请求速度。
- 为每个域、路径和身份添加并发上限。
- 添加抖动以避免机器完美的时机。
- 在429、403、CAPTCHA、挑战页面和延迟上升时迅速退避。
- 对于需要 cookies 或多步骤连续性的工作流,使用粘性会话。
- 跟踪成功率、阻止率、重试深度、延迟、会话存活率和 CPSR。
- 仅在稳定窗口后逐渐提高速度。
目标是控制吞吐量,而不是最大吞吐量。
按域、路径和身份进行速率限制
一个常见的错误是对每个目标应用一个全局限制。
更好的设置是使用多个限制层。
每域限制
每域限制防止一个目标网站接收过多流量。
示例:
example.com: 最大 2 RPSstore.example.com: 最大 1 RPSapi.example.com: 最大 0.5 RPS
这保护了目标特定的稳定性。
每路径限制
并非所有页面的敏感性相同。
产品页面可能容忍一种速度。搜索页面、结账路径、登录页面和库存端点可能需要更慢的速度。
更严格路径类别的示例:
/search/availability/cart/checkout/login- 动态 API 端点
- JavaScript 渲染的结果页面
每身份限制
如果您使用代理,每个代理或会话应有自己的上限。
使用 datacenter proxies、residential proxies 或 ISP 路由的抓取器应避免通过一个身份推送过多流量。
每身份限制有助于维护代理声誉并减少集群阻止。
令牌桶与漏桶与固定窗口
不同的限制器类型适用于不同的工作负载。
| 限制器类型 | 最适合 | 优势 | 弱点 | | | ---------------- | ------------------------- | ----------------------------------------------------- | ---------------------------------------------- | | | 令牌桶 | 大多数抓取管道 | 允许控制突发,同时强制执行平均速度 | 如果配置过于激进,仍可能出现峰值 | | 漏桶 | 平稳、稳定的流量 | 非常可预测的输出 | 在安全窗口期间可能未充分利用容量 | | 固定窗口 | 简单脚本和试点 | 易于实现 | 可能会产生边界突发 | | 滑动窗口 | 更精确的速率控制 | 比固定窗口更公平 | 稍微复杂 | | 自适应限制器 | 生产抓取器 | 对实时反馈做出响应 | 需要良好的指标 |
对于大多数抓取器,令牌桶加上并发上限和自适应退避是一个良好的起点。
不同工作负载的起始限制
没有通用的安全速率。开始时要保守,然后根据指标进行调整。
| 工作负载 | 建议起始点 | | | ------------------------ | -------------------------------------------------- | | | 静态公共 HTML 页面 | 每个身份 1–2 RPS,每个域 2–4 的并发 | | 产品详细页面 | 每个身份 0.5–1 RPS,每个域 1–3 的并发 | | 搜索结果页面 | 每个身份 0.2–0.8 RPS,严格路径限制 | | JavaScript 重度页面 | 每个身份 0.2–0.5 RPS,1–2 个浏览器会话 | | 登录或账户流程 | 低速,粘性/静态会话 | | 本地 SEO 检查 | 按位置和会话的低到中等速度 | | 旅行票价检查 | 低速,较长的冷却时间,严格的重试上限 |
这些是起始点,而不是永久设置。合适的速率是能够在可接受的 CPSR 下产生有效输出的速率。
自适应速率限制
自适应速率限制根据实时信号改变请求节奏。
而不是永远使用固定值,抓取器会监控指标并进行调整。
有用的信号包括:
- 429 速率
- 403 速率
- CAPTCHA 速率
- 挑战速率
- p95 延迟
- 超时速率
- 重试深度
- 会话存活
- 软阻塞速率
- 有效内容速率
一个简单的自适应循环:
- 从保守的限制开始。
- 在固定窗口内测量结果。
- 如果阻塞率上升,减少 RPS 和并发。
- 如果延迟激增,首先降低并发。
- 如果重试增加,暂停或冷却受影响的路径。
- 如果几个窗口保持稳定,缓慢增加 RPS。
- 当 CPSR 恶化时停止增加。
这可以防止抓取器对一次失败过度反应,但仍能快速响应真正的摩擦。
如何应对 429 错误
429 请求过多的响应是最清晰的速率限制信号。
当你看到 429 时:
- 尊重
Retry-After头部(如果存在) - 立即停止重试
- 减少该身份的 RPS
- 减少特定路径的并发
- 添加指数退避
- 添加抖动
- 冷却受影响的路径
- 监控 429 是否按域、IP、路径或账户聚集
不要将 429 视为正常重试。这是反馈,表明抓取器对该路径或端点的请求过快。
有关更广泛的故障排除,请参见 常见代理错误及其修复方法。
如何应对 403 错误
403 可能表示访问规则、IP 声誉、机器人检测、缺失的会话状态或过多的流量压力。
当 403 增加时:
- 减少并发
- 检查响应体
- 检查页面是否被阻止或软阻止
- 验证头部和 Cookie
- 比较代理路径
- 检查地理和区域一致性
- 审查目标路径是否被允许
- 避免重试风暴
如果在减速后 403 大幅下降,速率和并发可能是导致因素。
有关更深入的指导,请参见 理解抓取中的 403 错误。
速率限制与 Cloudflare 阻塞
受 Cloudflare 保护的网站可能会应用 WAF 规则、机器人管理、速率限制、地理政策和浏览器挑战。速率限制只是解决方案的一部分,但通常是改善的第一步。
当 Cloudflare 阻塞增加时:
- 错开作业计划
- 减少每路径请求速率
- 在挑战后添加退避
- 避免直接访问敏感路径
- 尽可能使用缓存
- 在需要的地方保持会话稳定
- 验证返回内容
- 仔细比较路径类型
不要仅依赖激进的代理切换。如果请求模式是问题,改变 IP 可能无法解决。
有关相关细节,请参见 为开发者解释 Cloudflare 阻塞。
抖动:为什么随机性有帮助
机器完美的时机容易被检测到,并可能导致同步的峰值。
抖动意味着在请求时机中添加小的随机变化。
使用抖动用于:
- 请求间隔
- 重试延迟
- 工作者启动
- 令牌补充时机
- 抓取调度窗口
- 浏览器操作等待
示例:
与其每秒准确发送一个请求,不如在 0.8 到 1.2 秒之间的随机延迟后发送下一个请求。
抖动应适度且可控。它并不是为了鲁莽地伪装人类行为。它只是防止尖锐的、同步的流量模式。
退避策略
退避是抓取器在错误后减速的方式。
一个实用的退避策略:
- 对瞬态网络错误重试一次
- 对 429 和 5xx 使用指数退避
- 在 CAPTCHA 或挑战页面后应用更长的冷却时间
- 限制总重试次数
- 在没有诊断的情况下停止重试重复的 403
- 将硬故障路由到审查
示例退避逻辑:
Attempt 1: wait 2 seconds
Attempt 2: wait 4 seconds
Attempt 3: wait 8 seconds
Then stop or queue for later review
在每个等待时间中添加抖动。
深度重试通常会增加 CPSR,并可能加剧封锁。
会话感知速率限制
会话感知速率限制不仅跟踪域名,还跟踪会话。
这对于以下内容很重要:
- 登录流程
- 购物车
- 结账测试
- 商店选择
- 分页
- 本地 SERP 检查
- JavaScript 重度浏览
- 产品变体检查
如果会话很重要,请不要过载它。
跟踪:
- 每个会话的页面数
- 会话持续时间
- 每个会话的封锁数
- 每个会话的重试深度
- 会话存活
- 代理分配
- Cookie 状态
如果会话早期失败,请减少每个会话的速度,并考虑以较低速度使用更多会话,而不是强行推动一个会话。
有关路由行为,请参见 旋转代理与静态代理。
代理策略和速率限制
代理类型会影响安全的节奏。
数据中心代理可能在宽容的公共页面上支持更高的速度,但在面向消费者的网站上可能面临更强的封锁。
住宅代理可能改善访问和地理准确性,但仍需谨慎进行速率限制。
ISP 代理可能适用于稳定的重复会话。
移动代理可能由于成本、延迟和运营商行为而需要较低的速率。
一个好的策略是根据工作负载进行路由:
| 工作负载 | 代理路由 | 速率策略 |
|---|---|---|
| -------------------------- | -------------------------------------- | --------------------------------------------- |
| 静态公共页面 | 数据中心 | 中等 RPS,较高的并发性(如果允许) |
| 产品页面 | 数据中心优先,住宅后备 | 保守的每域上限 |
| 本地 SEO | 住宅代理 | 位置感知会话,较低的突发性 |
| 登录工作流程 | 静态或粘性路由 | 低速,高会话连续性 |
| Cloudflare 敏感页面 | 住宅或混合 | 严格的退避和路径限制 |
| 重度浏览器自动化 | 住宅或 ISP | 低并发,较长的冷却时间 |
有关代理类型选择,请参见 数据中心与住宅与 ISP 代理解释。
软封锁和速率限制
抓取器可以在没有收到 429 的情况下被速率限制。
软封锁发生在服务器返回 HTTP 200,但内容无效或不完整时。
示例:
- 产品价格缺失
- SERP 结果缺失
- 通用页面模板
- 错误区域页面
- HTML 中隐藏的 CAPTCHA
- 空库存数据
- 重复的相同响应
- 陈旧内容
速率限制也应对软封锁做出响应。如果软封锁率增加,请减速,检查失败样本,并验证问题是路由、会话、路径还是解析器漂移。
该测量什么
速率限制应通过指标进行调整,而不是猜测。
| 指标 | 重要性说明 |
|---|---|
| ---------------- | ------------------------------------------------------- |
| 成功率 | 显示有效输出 |
| 阻塞率 | 捕获403、429、CAPTCHA和挑战页面 |
| 软阻塞率 | 检测返回为成功的无效内容 |
| CPSR | 测量每个成功结果的成本 |
| 重试深度 | 显示隐藏的不稳定性 |
| P95延迟 | 揭示目标或路径压力 |
| 吞吐量 | 测量每分钟有效页面数 |
| 会话存活 | 显示多步骤工作流的稳定性 |
| 地理准确性 | 确认位置敏感的有效性 |
| 队列延迟 | 显示限制是否对新鲜度目标过于严格 |
通过域、路径类型、代理路线、区域和爬虫工作者来测量这些指标。平均值会掩盖问题。
成本控制:优化CPSR,而非原始速度
一个爬虫每分钟可能收集更多页面,但如果阻塞和重试增加,成本仍然可能更高。
使用CPSR来比较设置。
示例:
- 设置A:10,000个请求,70%成功,高重试
- 设置B:7,000个请求,95%成功,低重试
设置B可能以更低的成本产生更多可用数据,即使它发送的请求较少。
最佳的速率限制通常低于系统技术上可以发送的最大速率。
真实场景:电子商务价格跟踪器
一个价格监控团队在40个零售商域名中收集产品价格。
旧的设置在每小时的开始运行所有任务。阻塞激增,重试增加,价格字段缺失。
改进的设置:
- 错开爬取窗口
- 应用每个域的上限
- 对搜索端点施加更严格的限制
- 对敏感产品页面使用住宅代理
- 添加抖动和指数回退
- 在存储数据之前验证价格、货币和可用性
结果是更少的阻塞、更干净的数据和更低的CPSR。
真实场景:旅行票价聚合器
一个旅行平台从JavaScript密集的页面收集票价和可用性数据。
旧的设置同时运行太多浏览器会话。延迟上升,超时增加,会话存活率下降。
改进的设置:
- 限制每个身份的浏览器并发
- 在403后添加更长的冷却时间
- 将公共着陆页面与动态结果页面分开
- 对完整搜索流程使用粘性会话
- 监控P95延迟和重试深度
工作流程在每个请求上变得更慢,但每个有效结果的速度更快。
真实场景:本地SEO监控
一个SEO团队在数百个位置收集本地SERP。
旧的设置对每个城市使用相同的时间表和速率。一些城市检查返回阻塞或错误位置的SERP。
改进的设置:
- 使用特定位置的队列
- 限制每个城市和代理路线的请求
- 对时间表添加抖动
- 验证本地包城市信号
- 对阻塞率较高的市场减速
报告变得更可靠,因为系统将排名变动与收集不稳定性分开。
常见失败模式
突发自动扩展
新工作者同时启动并压倒目标域。
解决方案:错开工作者启动,并在部署之间保持限制器状态。
仅全球限制
全球限制看似安全,但某个代理或路径可能过载。
解决方案:应用每个域、每个路径和每个身份的限制。
忽略路径敏感性
搜索、购物车、登录和可用性端点可能需要比产品页面更严格的限制。
解决方案:对路径进行分类并分配单独的限制器。
过快提升
在一个稳定窗口后过快增加RPS可能会导致振荡。
解决方案:缓慢提升并要求多个稳定窗口。
盲重试
没有回退的重试增加压力和成本。
解决方案:限制重试并分类错误。
忽略延迟
上升的 p95 延迟通常在阻塞之前出现。
修复:当延迟上升时,减少并发。
实施清单
在生产推出之前:
- 定义每个域的限制。
- 定义每个路径的限制。
- 定义每个身份的限制。
- 使用令牌桶或自适应限制器。
- 添加并发上限。
- 在计划和重试中添加抖动。
- 尊重 Retry-After 头部。
- 添加指数退避。
- 限制重试深度。
- 跟踪成功率和阻塞率。
- 跟踪软阻塞。
- 跟踪 CPSR。
- 存储失败样本。
- 根据路线和工作负载调整限制。
- 审查合规性和访问规则。
有关设置模式,请参见 SquidProxies 代理教程 和更广泛的 代理用例。
常见问题解答
什么是抓取中的速率限制?
速率限制控制抓取器发送请求的速度以及同时运行的请求数量。它有助于减少阻塞、超时、重试和目标站点的压力。
什么是安全的抓取速率?
没有通用的安全速率。开始时要保守,监控阻塞率和延迟,然后逐步增加。静态页面可能比 JavaScript 密集型、登录、购物车或搜索工作流程承受更高的速率。
我应该按 IP 还是域限制?
两者都要。使用每个域的限制来控制对站点的总流量,使用每个身份的限制来避免过度使用一个代理、会话或帐户。
在遇到 429 错误后我该怎么办?
放慢速度。尊重 Retry-After 头部,减少 RPS,添加退避,并避免立即重试。
添加更多代理能解决速率限制吗?
不一定。更多的代理可以分散流量,但如果目标具有路径级或基于行为的限制,工作流程仍然需要更好的节奏。
令牌桶对抓取器有用吗?
是的。令牌桶是一个强大的默认选项,因为它控制平均请求速率,同时允许有限的突发。将其与并发上限和退避结合使用。
速率限制如何减少 CPSR?
更好的节奏减少了阻塞和重试。更少的重试意味着更少的代理支出、更少的计算浪费,以及每美元更多的有效结果。
我该如何调整浏览器自动化的限制?
使用较低的并发、较长的超时、粘性会话和更严格的退避。浏览器会话比简单的 HTTP 请求更重且更敏感。
我应该监控哪些指标?
跟踪成功率、阻塞率、软阻塞率、CPSR、重试深度、p95 延迟、吞吐量、会话存活率、地理准确性和队列延迟。
最后想法
抓取器的速率限制最佳实践是关于控制、反馈和测量。固定数字可以适用于小型试点,但生产系统需要响应阻塞、延迟、重试和数据质量的自适应限制。
开始时要保守。按域、路径和身份限制。添加抖动和退避。尊重速率限制信号。跟踪 CPSR,而不仅仅是请求计数。仅在稳定的性能窗口后增加速度。
最好的抓取器不是发送最多请求的那个,而是以最低的可持续成本返回最多有效数据的那个。


