爬虫的速率限制最佳实践

由 Elena Kovacs•2026年11月18日•5 最少阅读时间
rate-limiting-best-practices-for-scrapers

速率限制可以决定一个抓取管道是保持稳定还是在阻塞、重试和成本上升的情况下崩溃。当请求节奏过于激进时,抓取工具会触发429响应、403阻塞、验证码页面、超时和软阻塞。当节奏过于保守时,数据变得陈旧,基础设施则处于未被充分利用的状态。

对于运行价格跟踪器、SEO爬虫、竞争监测、旅行票价检查、广告验证或AI数据管道的团队来说,速率限制不仅仅是一个技术设置。它是一种操作策略,保护成功率、数据质量、基础设施成本和目标网站的稳定性。

抓取工具的速率限制最佳实践包括设置每个域、每个路径、每个代理和每个会话的限制;添加抖动;使用自适应回退;尊重速率限制信号;监控阻塞率和延迟;以及根据每个成功请求的成本进行调优。

一个好的抓取工具不应该仅仅以最快的速度运行。它应该在以可预测的成本返回有效数据的同时,尽可能快地运行。

什么是抓取中的速率限制?

速率限制是控制抓取工具发送多少请求、发送的速度以及当目标开始显示压力或摩擦时如何响应。

在抓取中,速率限制通常控制:

  • 每秒请求数
  • 并发请求数
  • 每个代理的请求数
  • 每个会话的请求数
  • 每个域的请求数
  • 每种路径类型的请求数
  • 重试频率
  • 阻塞后的冷却时间
  • 跨时间的抓取计划

抓取工具可以通过网络抓取代理、浏览器自动化、HTTP客户端或类似API的端点发送流量。无论技术堆栈如何,请求节奏都必须得到管理。

没有速率限制,即使是构建良好的抓取工具也可能看起来具有攻击性,过载目标系统,或通过重试和阻塞破坏自身的成本效率。

为什么速率限制很重要

速率限制影响四个主要结果:访问、成本、新鲜度和数据质量。

不良的速率限制可能导致:

  • 429 请求过多响应
  • 403 禁止错误
  • 验证码或挑战页面
  • Cloudflare阻塞
  • 连接重置
  • 高重试深度
  • 会话失败
  • 错误或不完整的数据
  • 代理支出膨胀
  • 陈旧的报告

强大的速率限制帮助团队:

  • 降低阻塞率
  • 提高成功率
  • 保护会话存活
  • 降低每成功请求成本(CPSR)
  • 稳定抓取窗口
  • 减少软阻塞
  • 避免重试风暴
  • 收集更干净的数据

CPSR意味着每个成功请求的成本。

通俗来说:CPSR告诉你每个有效结果在代理支出、计算、浏览器渲染、重试和失败尝试后的成本。

如果额外的速度增加了CPSR并降低了数据质量,那么更快的抓取工具并不一定更好。

核心概念:每秒请求数、并发和身份

在设置限制之前,了解三个主要控制。

每秒请求数

每秒请求数(RPS)衡量每秒开始多少个新请求。以5 RPS运行的抓取工具每秒开始五个请求。

RPS控制节奏。

并发

并发衡量同时进行多少个请求。一个抓取工具每秒可能只开始1个请求,但如果页面加载缓慢,仍然可能有20个并发请求。

并发控制压力。

身份

网站通常通过身份限制流量,而不仅仅是通过域。身份可能包括:

  • IP地址
  • 代理端点
  • 子网
  • ASN
  • 会话cookie
  • 账户
  • 浏览器配置文件
  • 设备指纹
  • 地理路线

仅控制全局RPS的速率限制仍可能过载一个代理、一个会话或一个路径。生产抓取工具需要按身份和目标设置限制。

快速回答:抓取工具的最佳速率限制策略

最佳默认策略是:

  1. 使用令牌桶或类似的限制器来控制平均请求速度。
  2. 为每个域、路径和身份添加并发上限。
  3. 添加抖动以避免机器完美的时机。
  4. 在429、403、CAPTCHA、挑战页面和延迟上升时迅速退避。
  5. 对于需要 cookies 或多步骤连续性的工作流,使用粘性会话。
  6. 跟踪成功率、阻止率、重试深度、延迟、会话存活率和 CPSR。
  7. 仅在稳定窗口后逐渐提高速度。

目标是控制吞吐量,而不是最大吞吐量。

按域、路径和身份进行速率限制

一个常见的错误是对每个目标应用一个全局限制。

更好的设置是使用多个限制层。

每域限制

每域限制防止一个目标网站接收过多流量。

示例:

  • example.com: 最大 2 RPS
  • store.example.com: 最大 1 RPS
  • api.example.com: 最大 0.5 RPS

这保护了目标特定的稳定性。

每路径限制

并非所有页面的敏感性相同。

产品页面可能容忍一种速度。搜索页面、结账路径、登录页面和库存端点可能需要更慢的速度。

更严格路径类别的示例:

  • /search
  • /availability
  • /cart
  • /checkout
  • /login
  • 动态 API 端点
  • JavaScript 渲染的结果页面

每身份限制

如果您使用代理,每个代理或会话应有自己的上限。

使用 datacenter proxies、residential proxies 或 ISP 路由的抓取器应避免通过一个身份推送过多流量。

每身份限制有助于维护代理声誉并减少集群阻止。

令牌桶与漏桶与固定窗口

不同的限制器类型适用于不同的工作负载。

| 限制器类型 | 最适合 | 优势 | 弱点 | | | ---------------- | ------------------------- | ----------------------------------------------------- | ---------------------------------------------- | | | 令牌桶 | 大多数抓取管道 | 允许控制突发,同时强制执行平均速度 | 如果配置过于激进,仍可能出现峰值 | | 漏桶 | 平稳、稳定的流量 | 非常可预测的输出 | 在安全窗口期间可能未充分利用容量 | | 固定窗口 | 简单脚本和试点 | 易于实现 | 可能会产生边界突发 | | 滑动窗口 | 更精确的速率控制 | 比固定窗口更公平 | 稍微复杂 | | 自适应限制器 | 生产抓取器 | 对实时反馈做出响应 | 需要良好的指标 |

对于大多数抓取器,令牌桶加上并发上限和自适应退避是一个良好的起点。

不同工作负载的起始限制

没有通用的安全速率。开始时要保守,然后根据指标进行调整。

| 工作负载 | 建议起始点 | | | ------------------------ | -------------------------------------------------- | | | 静态公共 HTML 页面 | 每个身份 1–2 RPS,每个域 2–4 的并发 | | 产品详细页面 | 每个身份 0.5–1 RPS,每个域 1–3 的并发 | | 搜索结果页面 | 每个身份 0.2–0.8 RPS,严格路径限制 | | JavaScript 重度页面 | 每个身份 0.2–0.5 RPS,1–2 个浏览器会话 | | 登录或账户流程 | 低速,粘性/静态会话 | | 本地 SEO 检查 | 按位置和会话的低到中等速度 | | 旅行票价检查 | 低速,较长的冷却时间,严格的重试上限 |

这些是起始点,而不是永久设置。合适的速率是能够在可接受的 CPSR 下产生有效输出的速率。

自适应速率限制

自适应速率限制根据实时信号改变请求节奏。

而不是永远使用固定值,抓取器会监控指标并进行调整。

有用的信号包括:

  • 429 速率
  • 403 速率
  • CAPTCHA 速率
  • 挑战速率
  • p95 延迟
  • 超时速率
  • 重试深度
  • 会话存活
  • 软阻塞速率
  • 有效内容速率

一个简单的自适应循环:

  1. 从保守的限制开始。
  2. 在固定窗口内测量结果。
  3. 如果阻塞率上升,减少 RPS 和并发。
  4. 如果延迟激增,首先降低并发。
  5. 如果重试增加,暂停或冷却受影响的路径。
  6. 如果几个窗口保持稳定,缓慢增加 RPS。
  7. 当 CPSR 恶化时停止增加。

这可以防止抓取器对一次失败过度反应,但仍能快速响应真正的摩擦。

如何应对 429 错误

429 请求过多的响应是最清晰的速率限制信号。

当你看到 429 时:

  • 尊重 Retry-After 头部(如果存在)
  • 立即停止重试
  • 减少该身份的 RPS
  • 减少特定路径的并发
  • 添加指数退避
  • 添加抖动
  • 冷却受影响的路径
  • 监控 429 是否按域、IP、路径或账户聚集

不要将 429 视为正常重试。这是反馈,表明抓取器对该路径或端点的请求过快。

有关更广泛的故障排除,请参见 常见代理错误及其修复方法。

如何应对 403 错误

403 可能表示访问规则、IP 声誉、机器人检测、缺失的会话状态或过多的流量压力。

当 403 增加时:

  • 减少并发
  • 检查响应体
  • 检查页面是否被阻止或软阻止
  • 验证头部和 Cookie
  • 比较代理路径
  • 检查地理和区域一致性
  • 审查目标路径是否被允许
  • 避免重试风暴

如果在减速后 403 大幅下降,速率和并发可能是导致因素。

有关更深入的指导,请参见 理解抓取中的 403 错误。

速率限制与 Cloudflare 阻塞

受 Cloudflare 保护的网站可能会应用 WAF 规则、机器人管理、速率限制、地理政策和浏览器挑战。速率限制只是解决方案的一部分,但通常是改善的第一步。

当 Cloudflare 阻塞增加时:

  • 错开作业计划
  • 减少每路径请求速率
  • 在挑战后添加退避
  • 避免直接访问敏感路径
  • 尽可能使用缓存
  • 在需要的地方保持会话稳定
  • 验证返回内容
  • 仔细比较路径类型

不要仅依赖激进的代理切换。如果请求模式是问题,改变 IP 可能无法解决。

有关相关细节,请参见 为开发者解释 Cloudflare 阻塞。

抖动:为什么随机性有帮助

机器完美的时机容易被检测到,并可能导致同步的峰值。

抖动意味着在请求时机中添加小的随机变化。

使用抖动用于:

  • 请求间隔
  • 重试延迟
  • 工作者启动
  • 令牌补充时机
  • 抓取调度窗口
  • 浏览器操作等待

示例:

与其每秒准确发送一个请求,不如在 0.8 到 1.2 秒之间的随机延迟后发送下一个请求。

抖动应适度且可控。它并不是为了鲁莽地伪装人类行为。它只是防止尖锐的、同步的流量模式。

退避策略

退避是抓取器在错误后减速的方式。

一个实用的退避策略:

  • 对瞬态网络错误重试一次
  • 对 429 和 5xx 使用指数退避
  • 在 CAPTCHA 或挑战页面后应用更长的冷却时间
  • 限制总重试次数
  • 在没有诊断的情况下停止重试重复的 403
  • 将硬故障路由到审查

示例退避逻辑:

Attempt 1: wait 2 seconds
Attempt 2: wait 4 seconds
Attempt 3: wait 8 seconds
Then stop or queue for later review

在每个等待时间中添加抖动。

深度重试通常会增加 CPSR,并可能加剧封锁。

会话感知速率限制

会话感知速率限制不仅跟踪域名,还跟踪会话。

这对于以下内容很重要:

  • 登录流程
  • 购物车
  • 结账测试
  • 商店选择
  • 分页
  • 本地 SERP 检查
  • JavaScript 重度浏览
  • 产品变体检查

如果会话很重要,请不要过载它。

跟踪:

  • 每个会话的页面数
  • 会话持续时间
  • 每个会话的封锁数
  • 每个会话的重试深度
  • 会话存活
  • 代理分配
  • Cookie 状态

如果会话早期失败,请减少每个会话的速度,并考虑以较低速度使用更多会话,而不是强行推动一个会话。

有关路由行为,请参见 旋转代理与静态代理。

代理策略和速率限制

代理类型会影响安全的节奏。

数据中心代理可能在宽容的公共页面上支持更高的速度,但在面向消费者的网站上可能面临更强的封锁。

住宅代理可能改善访问和地理准确性,但仍需谨慎进行速率限制。

ISP 代理可能适用于稳定的重复会话。

移动代理可能由于成本、延迟和运营商行为而需要较低的速率。

一个好的策略是根据工作负载进行路由:

工作负载代理路由速率策略
-------------------------------------------------------------------------------------------------------------
静态公共页面数据中心中等 RPS,较高的并发性(如果允许)
产品页面数据中心优先,住宅后备保守的每域上限
本地 SEO住宅代理位置感知会话,较低的突发性
登录工作流程静态或粘性路由低速,高会话连续性
Cloudflare 敏感页面住宅或混合严格的退避和路径限制
重度浏览器自动化住宅或 ISP低并发,较长的冷却时间

有关代理类型选择,请参见 数据中心与住宅与 ISP 代理解释。

软封锁和速率限制

抓取器可以在没有收到 429 的情况下被速率限制。

软封锁发生在服务器返回 HTTP 200,但内容无效或不完整时。

示例:

  • 产品价格缺失
  • SERP 结果缺失
  • 通用页面模板
  • 错误区域页面
  • HTML 中隐藏的 CAPTCHA
  • 空库存数据
  • 重复的相同响应
  • 陈旧内容

速率限制也应对软封锁做出响应。如果软封锁率增加,请减速,检查失败样本,并验证问题是路由、会话、路径还是解析器漂移。

该测量什么

速率限制应通过指标进行调整,而不是猜测。

指标重要性说明
-----------------------------------------------------------------------
成功率显示有效输出
阻塞率捕获403、429、CAPTCHA和挑战页面
软阻塞率检测返回为成功的无效内容
CPSR测量每个成功结果的成本
重试深度显示隐藏的不稳定性
P95延迟揭示目标或路径压力
吞吐量测量每分钟有效页面数
会话存活显示多步骤工作流的稳定性
地理准确性确认位置敏感的有效性
队列延迟显示限制是否对新鲜度目标过于严格

通过域、路径类型、代理路线、区域和爬虫工作者来测量这些指标。平均值会掩盖问题。

成本控制:优化CPSR,而非原始速度

一个爬虫每分钟可能收集更多页面,但如果阻塞和重试增加,成本仍然可能更高。

使用CPSR来比较设置。

示例:

  • 设置A:10,000个请求,70%成功,高重试
  • 设置B:7,000个请求,95%成功,低重试

设置B可能以更低的成本产生更多可用数据,即使它发送的请求较少。

最佳的速率限制通常低于系统技术上可以发送的最大速率。

真实场景:电子商务价格跟踪器

一个价格监控团队在40个零售商域名中收集产品价格。

旧的设置在每小时的开始运行所有任务。阻塞激增,重试增加,价格字段缺失。

改进的设置:

  • 错开爬取窗口
  • 应用每个域的上限
  • 对搜索端点施加更严格的限制
  • 对敏感产品页面使用住宅代理
  • 添加抖动和指数回退
  • 在存储数据之前验证价格、货币和可用性

结果是更少的阻塞、更干净的数据和更低的CPSR。

真实场景:旅行票价聚合器

一个旅行平台从JavaScript密集的页面收集票价和可用性数据。

旧的设置同时运行太多浏览器会话。延迟上升,超时增加,会话存活率下降。

改进的设置:

  • 限制每个身份的浏览器并发
  • 在403后添加更长的冷却时间
  • 将公共着陆页面与动态结果页面分开
  • 对完整搜索流程使用粘性会话
  • 监控P95延迟和重试深度

工作流程在每个请求上变得更慢,但每个有效结果的速度更快。

真实场景:本地SEO监控

一个SEO团队在数百个位置收集本地SERP。

旧的设置对每个城市使用相同的时间表和速率。一些城市检查返回阻塞或错误位置的SERP。

改进的设置:

  • 使用特定位置的队列
  • 限制每个城市和代理路线的请求
  • 对时间表添加抖动
  • 验证本地包城市信号
  • 对阻塞率较高的市场减速

报告变得更可靠,因为系统将排名变动与收集不稳定性分开。

常见失败模式

突发自动扩展

新工作者同时启动并压倒目标域。

解决方案:错开工作者启动,并在部署之间保持限制器状态。

仅全球限制

全球限制看似安全,但某个代理或路径可能过载。

解决方案:应用每个域、每个路径和每个身份的限制。

忽略路径敏感性

搜索、购物车、登录和可用性端点可能需要比产品页面更严格的限制。

解决方案:对路径进行分类并分配单独的限制器。

过快提升

在一个稳定窗口后过快增加RPS可能会导致振荡。

解决方案:缓慢提升并要求多个稳定窗口。

盲重试

没有回退的重试增加压力和成本。

解决方案:限制重试并分类错误。

忽略延迟

上升的 p95 延迟通常在阻塞之前出现。

修复:当延迟上升时,减少并发。

实施清单

在生产推出之前:

  • 定义每个域的限制。
  • 定义每个路径的限制。
  • 定义每个身份的限制。
  • 使用令牌桶或自适应限制器。
  • 添加并发上限。
  • 在计划和重试中添加抖动。
  • 尊重 Retry-After 头部。
  • 添加指数退避。
  • 限制重试深度。
  • 跟踪成功率和阻塞率。
  • 跟踪软阻塞。
  • 跟踪 CPSR。
  • 存储失败样本。
  • 根据路线和工作负载调整限制。
  • 审查合规性和访问规则。

有关设置模式,请参见 SquidProxies 代理教程 和更广泛的 代理用例。

常见问题解答

什么是抓取中的速率限制?

速率限制控制抓取器发送请求的速度以及同时运行的请求数量。它有助于减少阻塞、超时、重试和目标站点的压力。

什么是安全的抓取速率?

没有通用的安全速率。开始时要保守,监控阻塞率和延迟,然后逐步增加。静态页面可能比 JavaScript 密集型、登录、购物车或搜索工作流程承受更高的速率。

我应该按 IP 还是域限制?

两者都要。使用每个域的限制来控制对站点的总流量,使用每个身份的限制来避免过度使用一个代理、会话或帐户。

在遇到 429 错误后我该怎么办?

放慢速度。尊重 Retry-After 头部,减少 RPS,添加退避,并避免立即重试。

添加更多代理能解决速率限制吗?

不一定。更多的代理可以分散流量,但如果目标具有路径级或基于行为的限制,工作流程仍然需要更好的节奏。

令牌桶对抓取器有用吗?

是的。令牌桶是一个强大的默认选项,因为它控制平均请求速率,同时允许有限的突发。将其与并发上限和退避结合使用。

速率限制如何减少 CPSR?

更好的节奏减少了阻塞和重试。更少的重试意味着更少的代理支出、更少的计算浪费,以及每美元更多的有效结果。

我该如何调整浏览器自动化的限制?

使用较低的并发、较长的超时、粘性会话和更严格的退避。浏览器会话比简单的 HTTP 请求更重且更敏感。

我应该监控哪些指标?

跟踪成功率、阻塞率、软阻塞率、CPSR、重试深度、p95 延迟、吞吐量、会话存活率、地理准确性和队列延迟。

最后想法

抓取器的速率限制最佳实践是关于控制、反馈和测量。固定数字可以适用于小型试点,但生产系统需要响应阻塞、延迟、重试和数据质量的自适应限制。

开始时要保守。按域、路径和身份限制。添加抖动和退避。尊重速率限制信号。跟踪 CPSR,而不仅仅是请求计数。仅在稳定的性能窗口后增加速度。

最好的抓取器不是发送最多请求的那个,而是以最低的可持续成本返回最多有效数据的那个。

关于作者

Elena Kovacs

Elena Kovacs works at the intersection of data strategy and proxy infrastructure. She designs scalable, geo-targeted data collection frameworks for SEO monitoring, market intelligence, and AI datasets. Her writing explores how proxy networks enable reliable, compliant data acquisition at scale.