ESX计划程序和NUMA问题

在我们的24个核心的BL685(4个插槽×6个核心)上,我们发现NUMA节点0和1非常繁忙(不幸的是导致了VMS上cpu准备时间的提高),而NUMA节点2和3几乎没有被使用。

我认为这可能只是一个ESX4 U1的问题,所以我有一个32核心(dl785)农场调查的同事,似乎他最后的3或4个NUMA节点也没有真正被利用。

在平衡轻负载的NUMA盒子方面,ESX似乎有一个弱点,我要在BIOS中启用节点交叉存取,看看所有24个核心的调度器平衡器,而不是只有12个!

对于那些核心人数众多的人来说,我build议你启动一下你的系统,检查物理CPU使用率(或者esxtop),我有兴趣听听你的结果。 请注意,它只是轻负载(例如,在esx主机上的CPU负载不到30%),似乎有负载不平衡的最大问题。

思想/评论。

PS使用vmwarelogging了一个SR协助,另一个“问题”可能是我们在每个主机上有128GB的RAM,因此调度程序认为没有很好的理由说明为什么它不应该尝试将所有虚拟机装入前两个NUMA节点,因为我们在每台主机上只有大约50GB的vm值。

我没有使用NUMA的经验,但是我们运行了几个“高核心数”的ESX 3.5服务器。

我们发现核心0通常是由控制台使用,所以你有任何东西在控制台主机上运行,​​可以解释这一点?

例如,我们在批处理模式下运行esxtop来logging非常低级别的统计信息,这些统计信息每晚都进行压缩,并且全部在CPU /核心0上。