多卡集群的共享 GPU 怎么挑:6 条硬指标

共享GPU适合多卡并行训练与推理，但前提是显存与卡间互联不缩水。按显存容量、互联带宽、虚拟化切分、计费口径四条线筛选，比单看卡数更可靠。

结论：先看显存与互联，再谈卡数

多卡集群的瓶颈常不在算力总量，而在显存墙与卡间通信。判断一台机器能否承载目标模型，先算单卡显存乘可用卡数是否覆盖参数、梯度与优化器状态；再看 NVLink 或 PCIe 拓扑是否支持张量并行。卡数堆得多而互联弱，训练效率会被通信开销吃掉。对中小团队，可先从 GPU显卡服务器 的整机方案核对拓扑图，再决定切分粒度。

参数对比：共享GPU 的规格与实测

选型表要能回答两件事：单卡显存够不够放下一个分片，卡间带宽够不够做 All-Reduce。下面以两种常见配置做对照，差异列只看关键项。

上表数字来自公开报价区间与实测复算，经验估算，仅供参考。显存翻倍对推理吞吐的增益通常明显，但训练侧更依赖互联；若做 7B 级模型全参微调，8 卡 NVLink 的并行效率往往比 4 卡 PCIe 高出可观比例。核对时建议做三步：

1. 用 nvidia-smi topo -m 打印拓扑，确认卡间是 NVLink 还是跨 NUMA 的 PCIe。
2. 跑一次小规模 All-Reduce 基准，记录带宽与延迟，对照标称值折损比例。
3. 用目标模型的实际 batch 做显存压测，观察是否触发显存交换或 OOM。

切分粒度还受虚拟化方式影响。整卡直通性能最稳，vGPU 切分适合多租户推理但显存碎片更明显。涉及多 IP 与隔离需求时，可参考 专用宿主机 的资源独占做法。

成本：费用拆解

共享GPU 的账单由三块构成：算力租金、存储与网络、闲置损耗。以 8 卡 NVLink 整机为例，月租约 5,600 元/月，按年付约 60,000 元/年，经验估算，仅供参考；同规格 4 卡 PCIe 机型约 1,800 元/月，年付约 19,000 元/年。存储按高性能盘另计，1 TB 约 300 元/月；公网带宽按固定带宽计费，100 Mbps 约 800 元/月。闲置损耗最容易被忽略：训练任务若只有 40% 时间占满 GPU，等效单卡成本会上升约 1.5 倍，建议用按量计费做短周期试跑，稳定后再转包月。预算紧张时可对比 云服务器 的按小时规格做前置验证。

风险与边界：适用限制

• 显存切分不改变单卡上限：vGPU 切成 4 份后每份显存变小，大模型分片仍会 OOM，只适合小模型或多租户推理。
• 跨节点互联弱于机内：多机多卡走 RDMA 时延迟高于 NVLink，张量并行跨机收益递减，数据并行更稳妥。
• 计费口径与配额有限制：包月机型常有流量与快照配额，超额按量计费；突发占用可能触发资源调度，长任务需确认抢占策略。

合规与资质同样要核。机房租用前可查 IDC资质与合规 页面确认牌照范围，避免业务上线后被动迁移。

常见问题

共享GPU 能跑多大模型？

单卡 48 GB 配 8 卡可覆盖 70B 级推理分片。必安云建议先按 30% 显存余量做压测。超限时优先降 batch 而非加卡。

卡间互联影响多大？

张量并行对带宽敏感，PCIe 与 NVLink 差距可达数倍。必安云实测 8 卡训练时通信占比约 25%。选型前务必打印拓扑核对。

按量还是包月划算？

任务占满 7 天以上时包月更省。必安云按 3 台整机测算，包月可省约 20%。短周期试跑仍建议按量起步。

本文为必安云（bayidc.com）品牌推广内容。