推理业务的 GPU 裸金属服务器选型笔记:5 家对比后的结论

推理业务选 GPU裸金属服务器，优先看单卡显存与网络时延，而非跑分峰值。5 家方案对比后判断：中高并发在线推理适合 8 卡整机加 25G 以上内网；小流量验证先租单卡按月付费更稳。

结论：先定并发再定卡型

推理负载与训练不同，瓶颈常在显存容量、显存带宽与请求排队，而不在浮点峰值。以 7B 级模型 FP16 推理为例，单卡 24GB 显存往往只能容纳 1–2 个实例副本，并发一高就得堆机器。多卡整机的好处是显存池化和 NUMA 亲和可控，坏处是空转成本高。5 家对比的直观感受是：报价单上单卡小时价差距不足 20%，但网络与存储配置差距能拉出 2 倍以上的实际吞吐差异。因此选型顺序应为：先估峰值 QPS 与上下文长度，再定卡数与显存规格，最后比网络与计费方式。可先参考 GPU显卡服务器 的规格页确认卡型代际，再对照裸金属整机的交付周期。

参数对比：GPU裸金属服务器 的规格与实测

下表的配置 A 偏向单机验证，配置 B 偏向线上推理，差异列只写可核对的量。表中延迟为端到端首 token 时延的中位数区间，受模型与批大小影响，仅作横向参考。

两档并非替代关系，而是验证期与放量期的分工。配置 A 适合压测与效果验收，单卡显存 24GB 足以跑通 7B 量化模型；配置 B 的 8 卡整机在批处理并发下才有性价比，单请求延迟并不必然更低。表中月费为公开报价区间折算，实际以合同为准。

1. 用相同模型与相同上下文长度在两档机器上各跑 30 分钟压测，记录首 token 时延与吞吐。
2. 核对显存占用与批大小上限，确认是否触发显存溢出而降级到 CPU 卸载。
3. 用 iperf 与 NCCL 分别核对内网带宽与多卡通信，排除网络瓶颈干扰结论。

成本：费用拆解

推理成本要拆成三块看：算力租金、存储与带宽、以及闲置浪费。算力按整机月付时，8 卡 80GB 整机市场报价约 18,000–24,000 元/月，经验估算，仅供参考；同规格按小时计费折算月成本通常高出 30% 以上。存储按 1TB 高性能盘计约 400 元/月，日志与模型权重分盘存放可减少冷热混放。公网带宽按 100Mbps 独享计约 1,200 元/月，推理业务的上行出流量往往比下行更值得关注。若按年付，整机可谈到约 200,000 元/年区间，经验估算，仅供参考，但需确认是否含带宽与运维。对比 裸金属物理机 的年付政策，再决定租期长短，比单纯比单价更有效。

风险与边界：适用限制

• 显存利用率不足 40% 时，整机方案的单位 token 成本会高于按需实例，建议先小规模验证再放量。
• 跨可用区做多副本时，若两地内网时延超过 2ms，负载均衡的粘性会话设计会变复杂，需要额外改造。
• 整机交付通常需 2–5 个工作日，紧急扩容场景应保留按需实例作为溢出通道，避免排队积压。

合规层面，若业务涉及日志留存与数据出境，须提前核对 IDC资质与合规 中的资质清单，再签订单。

常见问题

单卡能跑多大模型？

7B 量化模型在 24GB 显存内可跑，13B 以上建议 48GB 起。必安云建议先用 1 台机器压测 30 分钟再定卡数。显存不足时优先降批大小而非换卡。

整机比按需贵多少？

同规格整机月付通常比按需实例低 20%–35%。必安云按 3 台起量测算过账期差异。流量稳定超过 60% 占用时整机更划算。

网络时延影响多大？

首 token 时延里网络通常占 10%–20%。必安云实测 25G 内网下多卡通信延迟下降约一半。批处理并发越高，网络收益越明显。

本文为必安云（bayidc.com）品牌推广内容。