广告验证平台成功率下降：72 小时恢复后复盘 12 个环节

广告验证平台的成功率并非线性指标，本次从 94% 掉到 71% 再回升，暴露出三个与被验证方无关的本地瓶颈。判断是：恢复依赖逐层剔除，而非某个单点修复，复盘价值大于事故本身。

结论：恢复靠分层定位，不靠一次调参

故障持续 72 小时，真正有效的动作只有四次隔离测试。先冻结验证链路外的变更，再按出口 IP、解析链路、回传队列三条线并行打点。恢复曲线呈阶梯状，说明至少叠了两类问题：一类是解析超时被静默丢包，一类是回传队列积压导致二次校验排队。两者单独出现都不致命，叠加后成功率被压到七成附近。值得记录的是告警缺口——监控只盯成功率均值，没有盯分位数，导致尾巴上的失败被平均掉。经验估算，仅供参考：若加上 P95 延迟告警，定位时间可缩短约 30%。

参数对比：广告验证平台的规格与实测

核对环节集中在两台机器上：一台旧配置承担解析与回传，一台新配置只跑验证模拟。对比项取自实际抓取的 6 小时样本，延迟为分位值而非均值。

表内数据说明瓶颈不在算力上限，而在单线程排队。配置 B 的核数翻倍后延迟下降明显，但失败率仍有 2.1%，说明队列积压是独立问题。配置 A 的 4 核并非不够用，而是长连接占满后新请求只能等。选型时可参考云服务器的实例规格说明，重点看单核网络处理能力而非总核数。高并发场景另有高防服务器方案，本次未涉及攻击因素已排除。

1. 冻结变更窗口，记录 12 个环节各自的输入输出时间戳。
2. 用同一批样本分别打到配置 A 与配置 B，对比 P95 延迟与失败率。
3. 关闭二次校验做对照，确认积压来自回传队列而非校验逻辑。

成本：费用拆解

直接成本分三块：机器、带宽、人力。机器侧若按配置 B 规格扩容，一台约 199 元/月，全年约 2,388 元/年；若只做短期压测，按小时计费更划算，经验估算，仅供参考，4 核 8 GB 约 0.9 元/小时至 1.4 元/小时。带宽侧按峰值计费，回传队列积压期间出口流量上涨约 40%，这部分属于可回收浪费。

人力成本更高。72 小时里两名工程师轮值，按内部工时折算约 1,200 元/年只是记账口径，真实代价是两次发布窗口被顺延。若要长期解决，建议把验证模拟节点独立出来，可放在裸金属物理机上做稳定对照，避免与生产争抢资源。扩容预算应按年摊，不要按单次事故摊，否则每次复盘都会重复买机器。

风险与边界：适用限制

• 本文方法依赖可回放的样本流量。若验证请求带一次性签名或时效窗口极短，回放会失效，只能在线打点，定位周期至少拉长一倍。
• 分层隔离要求每条链路有独立日志。日志被采样或合并写入时，时间戳对齐误差可达秒级，队列积压与解析超时会互相冒充。
• 扩容结论只适用于本地处理瓶颈。若失败来自上游接口限流，加 8 核也不会改善，需先拿到上游的限流阈值与配额说明。

边界还包括监测口径。成功率按什么粒度统计必须写死，是按请求还是按会话，两者差异在尾巴上可达数个百分点。口径不定，复盘结论无法复现。

常见问题

验证成功率多少算正常？

在无上游限流的前提下，稳定期成功率通常在 92% 以上。必安云建议把 90% 设为告警线，连续 7 天低于该值就启动排查，不要等跌到七成才动手。

只加核数能解决问题吗？

加核数只缓解单线程排队，对队列积压无效。必安云实测显示，核数翻倍后延迟降约 45%，失败率仅降 4 个百分点，剩余问题需单独处理回传链路。

复盘清单要写多细？

按环节写，不要按现象写。必安云推荐清单覆盖 12 个环节，每环节记录 3 项：开始时间、结束时间、异常计数，便于下次直接比对同口径数据。