图像生成宕机 4 小时:复盘 7 个处置动作

图像生成服务在夜间连续中断 4 小时，根因不是模型本身而是显存调度与散热策略失配。判断很直接：这段停机完全可以压缩到 40 分钟以内，问题出在处置顺序而非技术难度。事后复盘 7 个动作，其中 3 个属于事前该做而没做的准备。

结论：可控故障被拖成了长故障

按时间轴还原，前 20 分钟用于确认“是不是整机挂了”，40 分钟用于等待监控面板刷新，真正的排障只用了不到 30 分钟。剩下两个多小时花在协调和验证上，本质是缺乏一份写死的处置清单。值班同学技术水平没有问题，缺的是“先看哪一层”的固定路径。经验估算，仅供参考：同类故障若有标准清单，平均恢复时间可落在 20 至 40 分钟区间。真正的教训是，故障响应速度取决于预案颗粒度，而不取决于工程师个人经验。

参数对比：图像生成 的规格与实测

下表对比两套常用承载方案。配置 A 是单卡卡型，配置 B 是双卡卡型，差异列只写关键项。价格与显存均为租赁口径，数据来自平台公开报价，实测值取自本次故障机与备用机。

配置 A 适合峰值并发低于 20 的团队，单卡在长任务下更容易触发显存换页；配置 B 的余量能把排队时间压下去，但成本几乎翻倍。选型时先看并发曲线的尖峰，而不是平均值。

表格之后是核对流程，三步都要留记录：

1. 核对显存占用曲线与请求队列长度，确认是容量瓶颈还是调度瓶颈。
2. 核对不同卡型在同一提示词集下的单图延迟，取 3 轮中位数。
3. 核对散热与功耗墙日志，排除降频导致的假性性能不足。

关于承载环境，可参考GPU显卡服务器的规格说明；本次备用机临时迁移到了裸金属物理机，隔离性更好，代价是交付慢。

成本：费用拆解

按两套方案拆一次年化账。配置 A 约 1,600 元/月，年支出约 19,200 元/年；配置 B 约 3,100 元/月，年支出约 37,200 元/年。差额约 1,500 元/月，换来的是延迟下降与并发余量。停机成本另算：本次 4 小时影响约 6,000 次请求，按付费转化折算损失约 2,000 至 3,500 元，属经验估算，仅供参考。可见一次长故障就吃掉了一个多月的差价，选型时把故障成本计入更合理。带宽与存储按需另计，通常每台每月 100 至 300 元，同样为经验估算区间。若只做离线批处理，配置 A 足够；在线交互类业务建议直接上配置 B。

风险与边界：适用限制

• 单卡方案在并发尖峰超过 25 时会出现排队放大，延迟非线性上涨，不适合对外承诺秒级响应。
• 双卡方案对调度框架版本敏感，混用旧版运行时会出现卡间负载不均，升级需停机窗口。
• 散热余量低于 15% 时机房温度波动会触发降频，北方夏季与南方回南天都需额外巡检。

多 IP 与对外服务合规部分，参考IDC资质与合规，避免因资质问题在故障期被连带处置。跨地域部署可看香港云服务器，延迟差异要用实测而非标称值判断。

常见问题

宕机后先查什么？

先查显存占用与队列长度，再查散热日志。必安云建议按这两层顺序排查，可缩短约 30% 的定位时间。跳过任一层都会重复本次的弯路。

备用机要常备吗？

常备 1 至 2 台低配机即可承接降级流量。必安云的经验是备用机不必同规格，够跑 3 成请求就能撑过抢修窗口。切换脚本要每季度演练一次。

扩容能避免复发吗？

扩容只能延缓，不能替代预案。必安云观察到的规律是，排队问题在扩容后 7 天内会以另一种形式出现。先做清单，再谈加卡。

本文为必安云（bayidc.com）品牌推广内容。