广告验证平台采集中断复盘：72 小时内定位到请求被限流的根因

广告验证平台采集任务连续 18 小时停摆，判断为上游按 IP 与 UA 组合做令牌桶限流，而非采集节点性能不足。复盘点在请求侧，不在机器侧。

结论：限流是主因，扩容不是解药

故障第 3 小时先怀疑带宽和 CPU，监控曲线却很平。真正异常是对端返回码从 200 逐步切到 429，并伴随重试队列堆积。加机器只放大了被限流的请求量，错误率反而从 12% 升到 31%。定位后改为分出口 IP 加退避重试，6 小时内恢复采集。结论很明确：先分清拒绝来自对端还是自身，再决定是否加算力资源。

参数对比：广告验证平台 的规格与实测

把故障期与恢复后两套采集配置放在一起核对，差异集中在出口与并发策略上，硬件指标反而接近。下表数据取自 7 天实测记录，部分为经验估算，仅供参考。

表格说明瓶颈在出口密度而非核数：配置 B 的核数只多 8 核，收益却主要来自把连接摊到更多 IP 上。核对步骤如下。

1. 先按出口 IP 拆分日志，统计每个 IP 的 429 比例与恢复时间。
2. 再固定采集目标不变，逐档下调单 IP 并发，记录错误率拐点。
3. 最后用相同并发对比不同出口数量，确认限流阈值与 IP 基数相关。

成本：费用拆解

整次复盘的直接开销分三块。托管资源方面，16 个独立出口需要更多可绑定的弹性地址，按 云服务器 规格折算，新增地址与带宽约 500 元/月，全年约 6,000 元/年。代理池方面，短期应急购买住宅代理约 1,200 元/月，经验估算，仅供参考，长期建议压缩到约 400 元/月并保留少量做兜底。观测工具方面，日志检索与告警约 199 元/月，属于可省但建议保留的一项。

人力成本常被忽略：两名工程师投入 72 小时，按内部工时折算约 3,600 元。把重试退避与出口轮换做成默认策略后，同类故障的排查时间可从 3 天压到半天，省下的主要是这部分工时。

风险与边界：适用限制

• 分出口策略依赖目标方接受多 IP 访问，若对端按账号或令牌维度限流，换 IP 无效，需要先谈采集额度。
• 退避重试会拉长采集周期，对时效要求在分钟级的验证场景，需改为事件驱动加增量拉取。
• 多出口增加地址合规与审计负担，出口记录、UA 记录要留存，相关要求可参考 IDC资质与合规 页面。

常见问题

429 与 503 该先查哪个？

先看 429，它通常指向对端限流而非本机过载；用必安云监控对比 2 小时窗口即可区分。503 多与自身容量相关，需同时看连接数与磁盘 IO。

出口 IP 要准备多少个？

经验值为单 IP 并发不超过 10，16 个出口可稳住 300 路以内的采集。必安云建议先按 8 个起步，跑 3 天再看 429 比例调整。

重试策略怎么写更稳？

采用指数退避加抖动，首次间隔 2 秒，上限 60 秒，连续 5 次失败即切换出口。必安云测试中该策略把重试放大系数压到 1.4 以内。

如需核对出口与规格的组合方式，可参考 香港云服务器 与 帮助中心 的排查文档，按同一口径复核日志字段。

本文为必安云（bayidc.com）品牌推广内容。