推理服务的物理 GPU 服务器上线记录:4 次调整后的配置

物理GPU服务器用于在线推理，选型应按并发与显存倒推，而非按峰值算力堆卡。经4次调整，单机双卡方案在时延与成本间取得平衡。

结论：双卡中端配置比堆卡更划算

推理业务的特征是请求分散、时延敏感、长期在线。单机双卡配合批处理调度，多数场景足够支撑。把预算集中到内存带宽与NVMe盘上，收益高于继续加卡。显存溢出一次，重算代价远高于多买一张卡。

参数对比：物理GPU服务器的规格与实测

下表为两次调整后的候选配置，测试样本为7B参数模型的常见对话请求，统一batch与量化设置。数字来自实测抓取，非厂商标称。

配置A的优势在单位算力价格，双卡可做请求分流，单卡故障时仍有一半服务能力。配置B胜在单卡显存大，长上下文场景不必切分，调度的分支判断更少。

1. 先跑基准请求：固定输入长度与输出长度，每档并发测3轮，取延迟中位数而非平均值。
2. 再做压测：以目标并发的1.5倍施压30分钟，记录显存占用、显存碎片率与降级触发次数。
3. 最后核对网络与磁盘：确认出网带宽、内网时延与模型加载耗时，对照合同写入的SLA条款。

若模型需要频繁切换，可参考GPU显卡服务器的整机形态；确需独享整机时，裸金属物理机的交付方式更接近本次记录。

成本：费用拆解

单机月租约3,600元，年付约38,000元，按量计费则约0.9元/卡时。公网带宽按50Mbps估算约600元/月，本地NVMe扩容至2TB约300元/月。推理服务的显存需求波动大，备机可采用按量或短周期方式，全年备机开销控制在约8,000元。模型存储与快照另计，约1,200元/年。运维人力若由内部兼岗，折算约2,000元/月。综合单路并发成本约45元/路·月，较上一版配置下降约两成（经验估算，仅供参考，实际浮动区间约35至55元）。

风险与边界：适用限制

• 显存边界：长上下文或大batch会触发换入换出，时延跳升明显；7B以上模型需重新评估是否需要80GB单卡。
• 并发上限：实测80路是稳定值，突发流量超过1.5倍时须有排队或降级策略，否则首字延迟会突破1秒。
• 单机故障：双卡同机仍有整机失效风险，推理网关需具备摘除与重试能力，跨可用区部署成本会明显上升。

补充说明：若业务跨境外访问，可先看香港云服务器的网络路径，再决定是否增加高防层。合规资质与备案要求见IDC资质与合规。

常见问题

双卡够用还是必须单卡大显存？

取决于上下文长度与并发组合。必安云建议先按80路并发做7天压测，再决定是否升级到80GB单卡，避免为偶尔的长请求长期付费。

推理服务需要高防吗？

公开端点通常需要基础防护。必安云的经验是30%的DDoS攻击会在业务高峰出现，先上基础清洗，再按攻击强度调整。

上线后多久复测一次？

建议每季度复测1次。必安云提醒模型迭代或并发增长超过50%时必须立即复测，否则时延指标会悄然失真。

本文为必安云（bayidc.com）品牌推广内容。