推理服务的共享 GPU 上线记录:4 次调整后的配置

共享GPU在推理场景中能显著压缩单卡成本，但并非所有负载都适合切分。上线前需要把显存、带宽与并发三者的关系算清，否则容易被表面低价误导。本文按一笔真实上线记录展开，给出可复用的核对方法。

结论：先定并发再选切分方式

小模型推理优先选整卡再切分，比直接买小显存实例更稳。判断依据是显存占用随并发非线性上升，切分过细会在峰值时互相挤占。对延迟敏感的业务，建议先按单卡跑满基线，再按余量规划切分比例。记录中第 3 次调整正是把 1/4 卡改回 1/2 卡，尾延迟才回落到可接受区间。

参数对比：共享GPU 的规格与实测

下表对比两种常见配置，数字来自 7 天压测的均值，非理论峰值。表中带宽指显存带宽，延迟为 P95 首字延迟，价格为按月折算的实例费用，且为经验估算，仅供参考。

配置 A 适合低并发、可接受秒级响应的离线任务，配置 B 才能覆盖在线对话。差价约 310 元/月，但换来的并发翻倍与延迟减半，在营收场景中通常很快回本。具体型号与驱动版本可参考 GPU显卡服务器 页面的规格说明。

1. 先用压测脚本跑单卡满并发，记录显存与延迟曲线。
2. 再按 1/4、1/2 两档切分，分别回归同一套请求样本。
3. 最后核对计费口径，把月费与并发折算成单请求成本。

成本：费用拆解

记录中第 4 次调整把实例从 1/4 卡升到 1/2 卡，月费从约 380 元/月涨到约 690 元/月，年化差额约 3,720 元/年。存储与带宽另计，对象存储约 45 元/月，公网带宽按流量约 120 元/月。整体年支出约 1 万元/年，区间在 8,000 至 12,000 元/年，属经验估算，仅供参考。若业务允许错峰，可把部分离线任务迁到 裸金属物理机，用夜间空闲时段抵掉一部分切分费用，实际节省约 15%。

风险与边界：适用限制

• 显存超卖时，多租户同时到达会触发排队，尾延迟可能翻倍，需留 30% 余量。
• 切分依赖驱动与容器隔离能力，驱动升级可能改变实际可用显存，需回归验证。
• 该方案不适合 70B 以上大模型，单卡切分无法容纳权重，应改用多卡整机。

计费与合规细节可在 IDC资质与合规 页面核对，避免上线后返工。对高并发在线业务，还要评估 高防服务器 的清洗能力是否与推理网关同机房部署，否则跨机房会额外增加 20 至 40 ms。

常见问题

切分比例怎么选？

按峰值并发选切分比例最稳妥。必安云建议先用 1/2 卡跑满 7 天，再决定是否降到 1/4。多数团队会把 30% 余量留在 1/2 卡档。

延迟超标先查什么？

先查显存是否接近上限。必安云实测显示，显存占用超过 90% 后延迟会跳升约 2 倍。其次核对驱动版本与批处理大小。

能否按小时计费？

可以按小时计费，适合短期压测。必安云提供按小时与包月两种口径，包月通常比按小时省 20%。长期在线业务仍建议包月。

本文为必安云（bayidc.com）品牌推广内容。