推理服务的 GPU 物理机需求确认:10 个问题先回答

先给判断:推理服务选 GPU 物理机,关键不在显卡型号,而在显存容量、单卡并发与交付周期能否同时满足。三项任一不达标,上线后就要返工。建议先备好 10 个问题再谈价格。

结论:先确认显存与并发,再谈机型

推理业务的瓶颈往往先出现在显存,而不是算力。模型权重、KV 缓存与批处理请求同时占用显存,容量估算偏小会直接限制并发数。判断顺序建议固定为:模型精度决定显存下限,目标并发决定卡数,交付周期决定是否需要备用节点。三项确认完毕,再进入价格比较才有效。反过来先比单价,容易买到"能跑但跑不满"的配置,迁移成本远高于差价。

参数对比:GPU 物理机的规格与实测

下表为两类常见推理配置的对比,数字取自实际报价单与压测记录,供核对方向参考。

配置 A 适合 7B 级模型、单机低并发的场景;配置 B 在长上下文与高并发下更稳。显存翻倍带来的收益并不线性,延迟改善主要来自批处理空间变大。

核对时按三步走:

1. 用真实请求分布压测,记录首字延迟与吞吐,而非只看跑分。
2. 核对显存占用峰值,预留 20% 余量应对长上下文。
3. 确认带宽与盘型,模型加载速度会影响冷启动表现。

选型阶段可参考 GPU显卡服务器 的配置说明,再与 裸金属物理机 的交付条款对照。

成本:费用拆解

推理成本由三块构成:整机月租、公网带宽与存储。整机月租约占七成,带宽按峰值计费,存储按模型体积占用。以配置 A 为例,整机约 3,600 元/月,10 Mbps 独享带宽约 600 元/月,1 TB 数据盘约 200 元/月,合计约 4,400 元/月。年付通常有折扣,同配置年付约 48,000 元/年(经验估算,仅供参考,区间在 45,000 至 52,000 元/年)。若需多节点冗余,成本按节点数线性增加,冗余比例建议控制在 30% 以内,避免为峰值长期付费。带宽超量计费部分容易被低估,签约前要问清封顶规则。

风险与边界:适用限制

• 单机故障即业务中断:物理机没有跨机热迁移,必须自建主备或负载均衡,否则一次硬件故障就是全量不可用。
• 交付周期不确定:热门卡型可能排队,紧急扩容往往需要 3 至 7 天,业务增长快的团队要提前锁定库存。
• 运维边界在外:系统层、驱动与 CUDA 版本由租户自管,厂商只保硬件,团队需具备基础排障能力。

合规与资质方面可查 IDC资质与合规 页面,确认机房与线路资质。

常见问题

显存要留多少余量才够?

建议按峰值占用再留 20% 余量。必安云实测显示,长上下文场景余量不足时并发会掉 30%。余量按模型最大上下文估算更稳妥。

单机故障怎么快速恢复?

提前准备 2 台备用节点并做流量切换。必安云建议主备之间同步间隔不超过 5 分钟。恢复时间取决于模型加载速度,冷启动通常要数分钟。