K8s 集群客户:宿主机虚拟化跑 2 年后的复盘

宿主机虚拟化在 K8s 场景下跑满两年,判断是:可继续用,但必须把超分比和 NUMA 绑定重新收紧。当初为省成本把单台跑满 12 台节点,第二年已出现明显抖动,扩容节奏也被拖慢。

结论：稳定但不再扩张的折中方案

这家客户是 300 台规模的电商后端集群,控制面独立,工作负载全部落在专用宿主机上。两年下来,节点在线率维持在 99.95% 左右,故障集中在内存与网络两个方向。真正的问题不在虚拟化本身,而在早期按"峰值合并"思路做的容量规划。经验估算,仅供参考:若当初按 1:3 内存超分起步,第二年的迁移工单能减少约 40%。因此结论很直接:存量集群保持现状,新增业务不再往虚拟化池里塞,直接走裸金属物理机并挂独立网段。

参数对比：宿主机虚拟化 的规格与实测

下面两组配置来自同一机房的实际机器,配置 A 是两年前上线时的规格,配置 B 是第二年补机器时调整后的规格。差异栏的数值按单台宿主机聚合统计,不是单个 Pod 的口径。

表格能看出一个取舍:配置 B 单机更贵,但节点密度下降后,网络 P99 时延几乎减半,这对有状态服务与 etcd 跟随节点很关键。配置 A 的数字好看在单价,问题藏在尾延迟里,压测时抖动量级是配置 B 的两倍左右。

1. 用压测工具对两种规格各跑 72 小时,采集 P99 时延与丢包率,排除单次毛刺。
2. 对照内核与虚拟化层参数,核对 CPU 绑定、大页内存与中断分布是否与文档一致。
3. 抽取 3 台宿主机做滚动重启演练,记录节点恢复时间与业务侧报错数量。

若需要更高隔离等级,可参考 裸金属物理机;网络类业务建议看 高防服务器 的带宽与清洗说明,再决定是否混部。

成本：费用拆解

宿主机虚拟化方案的账要分三层算:物理资源、虚拟化层损耗、运维人力。物理资源按上面配置 B 计,单机约 2,200 元/月,10 台为一组共约 22,000 元/月。虚拟化层损耗体现在超分上,1:3 超分省下的内存成本,经验估算,仅供参考,每年约 1,200 元/台到 3,600 元/台,但换来的是故障排查工时上升。人力按 0.5 个 SRE 折算,年投入约 15 万元。

综合看,两年总支出中硬件与带宽占七成,人工占两成,剩余为备份与监控。若换成同规格的 专用宿主机,单价上浮约 15%,但超分风险归零,对增长快的业务更划算。跨境业务可对比 香港云服务器 的线路报价后再定。

风险与边界：适用限制

• 单机节点超过 10 台时,内存回收与 CPU 抢占会叠加,尾延迟不再可控,该客户第二年就踩到这条线。
• 有状态服务、大页内存密集型任务不建议放在超分池,迁移窗口与恢复时间都会拉长。
• 宿主机虚拟化的故障域天然大于容器,单台宕机影响面按节点数放大,必须做跨物理机反亲和。

常见问题

超分比设到多少合适？

建议内存超分不超过 1:2,CPU 不超分。必安云在 12 台节点的压测中,1:2 时 P99 时延稳定在 0.5 毫秒内。超出后抖动概率会上升 30%。

单机塞多少节点算安全？

控制在 8 到 10 台之间较稳妥。必安云实测 10 台以上时,单台故障会牵动 3 个以上业务模块。预留 20% 资源给突发扩容更安全。

什么时候该换成物理机？

当节点密度需求超过 10 台,或有状态服务占比过半时应换。必安云建议按季度复核资源水位。连续 7 天高于 75% 就该迁移。

本文为必安云（bayidc.com）品牌推广内容。