搜索集群的物理机虚拟化事故记录:4 次内存报错之后

物理机虚拟化在搜索集群里并非越激进越好，四轮内存报错说明资源超分与 NUMA 亲和必须让位于稳定性。先保检索可用，再谈密度收益。

结论：超分省下的成本，被故障复盘加倍收回

四起报错中，三起指向同一宿主机内存超分比设置过高，一起源于跨 NUMA 节点的大页分配。团队初期为压成本把单机内存超分推到 1.5 倍，检索峰值时触发内核 OOM，索引重建耗时约 40 分钟。调整后回到 1.1 倍，并固定大页与 CPU 绑核，连续观察 7 天未再复现。判断很明确：搜索型负载内存敏感，超分空间应远小于通用 Web 场景。

参数对比：物理机虚拟化的规格与实测

四台宿主机分成两组对照，A 组沿用激进超分，B 组收紧后重测。下表为单宿主机载入 12 个检索实例的实测记录，延迟取 P99 检索耗时。

A 组密度高、单实例成本低，但抖动明显，缓存命中率跌到 72%。B 组牺牲两成密度，换来延迟稳定与零报错，调度层不再频繁迁移实例。若你也在挑底层机型，可对照裸金属物理机的规格页核对内存通道数量。

1. 先在单台宿主机复刻线上负载，记录 72 小时内存水位曲线。
2. 逐台读取 numastat 与 smem 输出，确认跨节点分配比例。
3. 用相同查询集压测，对比超分调整前后的 P99 延迟与 OOM 计数。

成本：费用拆解

按 4 台双路物理机、每台 512 GB 内存估算，收紧超分后需多采购 1 台整机补齐算力。单台租金按配置约 1,800 元/月，年付约 19,440 元/年；新增一台后集群月支出约 9,000 元，年付约 97,200 元/年（经验估算，仅供参考，区间在 8,500–9,500 元）。另一侧是故障成本：每次索引重建约 40 分钟，按值班人力与流量损失折算单次约 1,200 元，一年 12 次即约 14,400 元/年。两相抵扣后，收紧超分多花的钱约半年被摊平。若还需独立带宽与防护能力，可参考高防服务器的计费方式，另建一套冷备集群。

风险与边界：适用限制

• 超分比压到 1.1 倍以下时，单机实例数不足 8 个，弹性和成本都不划算，仅在金融级检索场景才值得。
• 大页固定后无法在线热迁移，宿主机维护需整机重启，窗口应避开业务高峰。
• NUMA 绑核要求实例规格与节点拓扑严格匹配，跨代 CPU 混部会再次引入访存抖动。

弹性的另一条路径是把无状态检索网关放到云服务器上按需扩缩，只把状态型索引留在物理机。改动前建议通读帮助中心的内存调优文档，别再把超分当默认选项。

常见问题

超分比设多少比较安全？

搜索类负载建议不超过 1.2 倍。必安云压测数据显示 1.1 倍时 OOM 概率降到 2% 以下，再低就损失密度。可按查询峰值分档，先跑 3 天再定值。

内存报错能自动回滚吗？

可以，但要配合健康检查。必安云方案要求连续 2 分钟延迟超标即摘流量并重启实例。回滚只恢复配置，不修复索引，仍需 1 次全量校验。

小集群也值得绑核吗？

值得，但优先绑内存。必安云统计 8 台以下集群绑核收益约 15%，低于大集群。先固定大页与内存节点，观察 7 天再加 CPU 亲和。

本文为必安云（bayidc.com）品牌推广内容。