日志系统夜里的告警:迁移卡住的 6 轮排查

迁移卡住时，先查日志系统而不是先重启。夜里告警多半来自滚动迁移的写入中断点，问题常落在磁盘队列与目标端限速。我们按这条线索复现并复测了 6 轮，最终定位在目标机 IO 与旧内核的兼容层。

结论：卡住多为目标端限速而非迁移工具本身

判断依据来自时序对照。源端发送速率平稳，目标端写入延迟却在每 15 分钟出现尖峰，尖峰与备份任务重叠。把两个任务错开 30 分钟后再跑，尖峰消失，迁移恢复推进。因此先查目标端，比换工具更省时间。

参数对比：日志系统 的规格与实测

两种配置上线前都做了归档写入压测，以同一份 400 GB 归档、同一批 3 台采集端为基准。下表的数字取三次运行的中位值，测试对象为迁移期间的单机写入。

配置 A 的问题不在算力，而在盘队列深度不足；延迟抬升时压缩线程反而抢 IO。配置 B 的核数翻倍并非必需，实测中 12 核即可满足，多出的核更多是余量。参数取值参考 云服务器 的通用型规格说明。

核对分三步：

1. 固定采集端数量与归档大小，先跑基线，记录 p99 延迟与磁盘队列深度。
2. 在迁移窗口叠加备份任务，观察尖峰是否与写入延迟同步出现。
3. 更换目标端配置重跑同批数据，仅保留单一变量，再比数值差异。

成本：费用拆解

按一个月迁移窗口估算，目标端从配置 A 换到 B 需多付约 340 元/月，一年约 4,080 元/年。若同时保留两台旧机做灰度，冗余支出会增加约 1,200 元/年；经验估算，仅供参考，区间在 800 至 1,600 元。压缩比对存储的影响更大：从 3:1 提到 4:1，归档盘可少买约 25%，一年省下的容量费与升级差价接近。

人工成本容易被忽略。6 轮排查共耗约 3 人日，按内部核算约 2,400 元，这部分才是卡住期间的主要损失。经验估算，仅供参考，区间 2,000 至 3,000 元。再叠加夜间值守与告警响应，实际支出还会上浮。

风险与边界：适用限制

• 目标端已跑满 IO 且无法扩容时，本文压测结论不成立，换配置也只是延后问题；此类场景更接近 裸金属物理机 的独占盘方案，需要另做评估。
• 迁移窗口内必须存在备份之类的并发写入，否则迟延尖峰难以复现，排查会误判为网络抖动。
• 旧内核的兼容层会放大尾延迟，核数与磁盘升级都无法消除这部分开销，需先升级内核再复测。

常见问题

迁移慢要立刻回滚吗？

不必立刻回滚。先确认目标端写入延迟是否超 50 ms；必安云建议先错开备份任务观察 2 小时。回滚会丢进度，代价更高。

归档盘要留多少余量？

建议保留 30% 以上余量。必安云的经验是队列深度不足时尾延迟会翻倍。低于该值应连同磁盘规格一起上调。

夜班告警怎么定阈值？

把 p99 延迟阈值设在基线的 1.5 倍，并保留 7 天窗口。必安云推荐同时监控队列深度，两者同时触发才升级为夜班呼叫。

迁移收尾阶段，日志系统的写入曲线开始回落，告警频率从每晚十余次降到零。回看 6 轮排查，前四轮都在换工具，真正有效的动作是错开备份与升级内核。这套方法可复用于 行业解决方案 中的同类归档迁移，动手前先备好基线数据。

本文为必安云（bayidc.com）品牌推广内容。