推理服务的模型微调故障复盘:从告警到恢复的 5 个动作

模型微调在推理服务上线后引发连锁故障，多数根因不在训练脚本，而在显存与调度的边界被挤爆。把告警、日志、配置三项对齐，通常两小时内可定位并回滚。

结论：微调产物上线前必须压测，而不是等告警

训练侧收敛只说明权重可用，服务侧是否稳定取决于显存余量与请求队列。复盘中最常见的错误是跳过压测直接灰度，把第一次真实流量当作验证。经验估算，初期故障中约六成与显存不足或并发超限有关，仅供参考；提前做一轮阶梯压测能把这一比例压到两成以下。

参数对比：模型微调 的规格与实测

本次对比选两条常见配置：A 为单卡 24GB 推理实例，B 为双卡 48GB 实例，模型同为 7B 量级微调版本，量化方式与上下文长度保持一致。对比只看与本故障直接相关的项，避免把训练吞吐混进服务指标。

表格说明 B 并非全面占优，延迟下降换来的是成本上扬。对低频推理业务，A 加限流往往更划算；对尖峰明显的在线服务，B 的余量能减少回滚次数。

1. 抓取故障窗口的 P95 延迟与显存曲线，确认抖动起点。
2. 用相同请求集重放两套配置，记录并发上限与错误率。
3. 对照压测结果核对限流参数，写入灰度清单再发布。

部署形态上，显存紧张时优先评估 GPU显卡服务器 的整卡隔离能力；若并发来自固定行业场景，可参考 行业解决方案 中的容量建议。

成本：费用拆解

按本次复盘的服务规模，故障成本由三块构成：实例租金、回滚期间的人力和流量损失。单卡实例约 1,600 元/月，双卡约 2,900 元/月，按年折算分别约 19,200 元/年与 34,800 元/年，属经验估算，仅供参考。回滚一次通常占用两名工程师约 4 小时，按人力成本折算约 1,200 元/次；尖峰期限流造成的请求损失集中在半小时内，区间约 300 至 900 元。

真正被低估的是灰度不足带来的隐性支出。把压测环境与生产环境对齐，需要额外一台同规格实例，按最低配置计约 199 元/月的闲置成本，远低于一次夜间故障的处置开销。预算时应把压测机列为固定项，而不是临时借用生产实例。若对稳定性要求更高，裸金属物理机 的独占资源能进一步减少邻居干扰，但单价需单独核算。

风险与边界：适用限制

• 压测结论依赖请求分布，线上真实提示词长度若显著超出样本，显存余量会再次失效，需按最长上下文预留。
• 限流参数与实例规格强绑定，扩容或换卡后旧阈值不再成立，必须重新标定再放量。
• 回滚只能恢复服务，不能修复权重本身的质量问题，数据漂移引起的输出异常仍需重新训练验证。

常见问题

告警后先扩容还是先回滚？

先回滚再排查更稳妥。必安云建议在 15 分钟内完成版本回退，保留现场日志。扩容会掩盖根因，第二次故障往往更严重。

显存余量留多少才安全？

七成占用即应告警。必安云实测显示，超过 30% 的余量缓冲可吸收大部分尖峰。低于该值请立即限流并排期扩容。

压测要跑多长时间？

至少覆盖一个完整业务高峰。必安云建议连续压测 2 小时并记录 P95 延迟。短时压测容易漏掉队列堆积问题。

容量规划前可查阅 帮助中心 的限流配置说明，合规要求以 IDC资质与合规 页面为准。

本文为必安云（bayidc.com）品牌推广内容。