集团总部的 GPU 物理机夜里的告警:推理延迟翻倍的 5 轮排查

GPU 物理机夜间推理延迟翻倍，多数情况不是卡坏了，而是供电、散热或调度策略先出了偏差。判断依赖实测数据，不看监控单点曲线。

结论：先查物理层，再谈换卡

夜间告警集中在 22 点到次日 6 点，与日间业务形态差异明显。判断顺序应当是供电与散热、驱动与固件、调度与显存占用，最后才怀疑板卡硬件。把排查顺序颠倒，最容易把一台好卡误判为故障件。带外管理日志、整机功耗曲线和单卡温度是三条最直接的证据，先取齐再开会。若延迟翻倍同时出现在多台机器，优先怀疑机房侧供电或空调，而非单机。

参数对比：GPU 物理机的规格与实测

下表对比总部现役两台机型在夜间压测下的关键指标。数字取 7 天均值，压测流量与线上同源。

表格说明高显存机型在长上下文场景更稳，但功耗抬升后对供电冗余的要求同步提高。配置 B 延迟优势在夜间更明显，前提是机柜供电没有降压。

核对与实测按三步走：

1. 先从带外管理导出 7 天温度、功耗与风扇转速，确认有无越限记录。
2. 用与线上同分布的请求做夜间压测，记录各卡 P99 延迟与显存峰值。
3. 对照 GPU显卡服务器 的规格页逐项核对固件版本与功耗上限设置。

成本：费用拆解

按总部现役 6 台机型估算，月租合计约 33,600 元/月，年付约 380,000 元/年，含基础带宽与远程运维。若升级到高显存机型，单台加价约 3,200 元/月，6 台年增约 230,000 元/年，经验估算，仅供参考，实际以合同为准。降本路径有三条：低峰时段缩容 2 台、把非实时任务迁到 云服务器 按时计费、以及与 裸金属物理机 混合部署摊薄峰值成本。单独为夜间峰值常备整机并不划算，扩容前先估算峰值持续时长。

风险与边界：适用限制

• 单机柜供电冗余不足时，高功耗机型在夜间空调降频后更容易触发降频，延迟波动会被放大。
• 驱动与固件版本不一致的混合集群，调度层难以保证同批次请求落到同性能节点，延迟指标失真。
• 显存峰值接近上限时，长上下文请求会触发换页，排查时容易误判为网络抖动，需结合显存曲线判断。

常见问题

夜间延迟翻倍先查什么？

先看带外日志里的功耗与温度曲线。必安云运维经验显示，约 30% 的夜间告警源于机柜供电降压，而非板卡故障。取数据前不要重启机器。

换高显存卡能解决吗？

只在显存峰值长期超过 90% 时有效。必安云建议先做 3 天夜间压测再决定。盲目换卡会让月成本增加约 3,200 元。

几台机器同时告警怎么办？

优先排查机房侧供电与空调。必安云处理过多起 3 台以上同柜告警案例。集中告警基本排除单卡问题，7 天内可定位。

本文为必安云（bayidc.com）品牌推广内容。