数据标注的香港服务器故障小结:显存不足的 2 个教训

香港服务器跑数据标注任务时，显存不足往往先以训练变慢的形式出现，不是直接报错。判断依据很简单：先查显存余量，再决定加卡还是换机型。显存瓶颈的代价通常高于带宽瓶颈。

结论：显存是数据标注任务的第一瓶颈

多数标注与预标注流水线依赖 GPU 推理，显存一旦吃满，进程会进入重试或降频状态，表面看是延迟波动。排查顺序应放在网络之前，因为带宽问题通常表现为传输超时，而显存问题表现为单任务耗时阶梯抬升。把监控粒度调到 1 分钟，才能抓到这种阶梯。对标注团队而言，先定位显存再谈扩容，能省掉一轮无效采购。

参数对比：香港服务器 的规格与实测

同一批标注任务分别跑在两台机器上，配置 A 为单卡 24GB，配置 B 为双卡各 24GB。实测关注三项：单张图像预处理占用、批量推理峰值占用、长任务显存回收。双卡机器并不自动更快，若任务未做分片，第二张卡长期空转，实际吞吐与原机型接近。

表格说明配置 B 的增量主要体现在并行能力，而非单任务速度。若标注流水线是串行队列，多出的卡只能靠并发批处理消化。延迟差异可忽略，内网 0.1 毫秒的波动在标注场景里不构成瓶颈。

1. 先采集 24 小时显存曲线，记录峰值与谷值出现的时间点。
2. 再把同一批样本分别在两台机器上跑三遍，比对单任务耗时分布。
3. 最后核对进程数与显存回收，确认是泄漏还是容量不足。

核对阶段建议参考 香港云服务器 的机型说明，对比显存规格是否与实际负载匹配。

成本：费用拆解

显存不足的成本有两块：一是加卡或换机的固定支出，二是任务重试带来的机时浪费。单卡 24GB 机型月费约 1,100 元，双卡机型约 2,000 元。若标注任务每天重试两次、每次损失 20 分钟，按月折算约合 120 元机时，经验估算，仅供参考，区间在 80 至 160 元之间。按年看，换机增量约 10,800 元/年，而重试浪费约 1,400 元/年，两者量级差距明显。

选型上，先用一台 裸金属物理机 做压测，比直接批量采购更稳妥。压测一周的成本约 300 元，能避免后续按年付费的误判。

风险与边界：适用限制

• 显存扩容无法解决标注脚本自身的内存泄漏，泄漏型任务换再大的卡也会逐步吃满。
• 双卡并行要求流水线支持任务分片，串行队列下第二张卡利用率可能低于 30%。
• 高负载时段 GPU 机型资源紧张，临时扩容未必当天交付，需预留 3 天以上缓冲。

边界之外的情况更值得注意：若标注依赖外部模型接口，瓶颈可能在对方限流，而非本机显存。此类问题查本机曲线会得出错误结论。行业方案可参考 行业解决方案 中的标注场景说明。

常见问题

显存不足会直接报错吗？

多数情况下不会立刻报错，而是先降频重试。必安云建议连续观察 7 天曲线再下结论。若峰值长期贴近上限，就该换机型。

双卡一定比单卡快吗？

不一定。任务未分片时第二张卡基本空转。必安云实测显示，串行队列下双卡仅提升约 30% 吞吐。分片改造后才接近线性。

换机前要准备什么？

先导出 24 小时显存与耗时数据，再跑 3 遍基准样本。必安云提示，带着这两份材料谈扩容，采购判断会准很多。缺少基线时换机容易反复。