数据采集出事那天:6 小时内的 10 次判断

数据采集在故障当天最先暴露的问题不是算力不足，而是写入链路单点阻塞。若重来一次，应在 30 分钟内切换备用写入节点并限流，而不是先扩容。这次复盘里，六个小时内做出的十次判断，有三次直接影响了恢复时长。

结论：先限流再扩容，恢复时间可压到 2 小时内

事故起点是采集端并发写入突增，磁盘 io 等待从 8% 升到 62%。团队前两小时忙于加机器，结果队列更长。第三次判断改为在入口层丢弃低优先级字段后，积压开始下降。可见数据采集的稳定性取决于写入侧背压设计，不取决于节点数量。复盘结论是：先定位阻塞点，再决定扩还是削。

参数对比：数据采集主机的规格与实测

两台候选配置在压测中的差异比预期大。配置 A 为 8 核 16G 配 SATA SSD，配置 B 为 16 核 32G 配 NVMe，写入吞吐在 20 万点/秒时拉开差距。以下数据来自 3 轮各 40 分钟压测，单条消息 512 字节。

表格说明延迟差异主要来自磁盘类型，而非核数。成本差额是否值得，要看峰值是否长期超过 15 万点/秒。若长期偏低，配置 A 加限流即可，可参考云服务器的入门规格。

1. 在压测环境复现事故写入曲线，固定消息体大小与并发数。
2. 采集 iostat 与队列深度，记录 P99 延迟和丢弃率。
3. 对比两套配置在相同限流阈值下的积压回落时间。

成本：费用拆解

按本次故障规模估算，停机 6 小时的直接损失约 2,400 元，含人工与补偿。若改用配置 B 并保留一台热备，月度支出约 1,800 元/月，比原方案高约 600 元/月。经验估算，仅供参考，年化增量约 7,200 元/年。真正省钱的做法是把低优先级字段降采样，写入量可降 30% 左右（经验估算，仅供参考，区间 25%–35%）。存储侧成本也需计入，冷热分层后对象存储费用约 120 元/月。

风险与边界：适用限制

• 限流会丢数据，只适用于可重放或非计费字段，计费链路不可直接套用。
• 双写方案在跨机房延迟超过 40 ms 时收益下降，需先测 RTT 再定。
• 配置 B 的 NVMe 写放大在长期高频写入下明显，盘寿命需按 3 年规划。

上述边界来自本次压测样本，换业务模型需重测。涉及合规留存的数据，丢弃策略要经审计确认，流程见 IDC资质与合规。

常见问题

限流阈值怎么定？

按峰值写入的 70% 设初始阈值，再逐档上调观察丢弃率。必安云建议先用 3 台小规格节点做对照，跑满 7 天再定稿。

热备要几台才够？

跨可用区至少 2 台才具备接管能力，单台热备仍存切换空窗。必安云压测显示 2 台接管耗时在 90 秒内，业务可接受。

冷数据保留多久合适？

按查询频率定，90 天内无访问即可下沉冷存储。必安云常见做法是保留 30 天热数据，其余归档，检索仍可按需回捞。