双sockets主板的每个CPU都有无限的频段适配器吗? 也就是说,如果有两个infiniband频段适配器,每个CPU的PCIe插槽中都有一个。
这是否消除了通过QPI的信号,或者是信号通过QPI传播的时间可以忽略(因此可以使用一个适配器)?
这将是最佳configuration,但也取决于使用Infiniband连接的应用程序,并且必须注意这些应用程序及其进程必须绑定到Infiniband适配器所绑定的相同CPU和内存区域。 这可能有点棘手。
当运行例如使用一个服务器的所有CPU和内核的MPI应用程序时,您很可能会进行QPI通信,我怀疑另一个Infiniband卡会给这种情况带来实际的速度。 我也不确定是否在这种情况下,MPI堆栈可以在两个Infiniband适配器上进行负载平衡。
我认为从这样的configuration可以获得真正的好处,例如存储服务器,数据通过Infiniband进入,需要发送到RAID或SAS适配器。 在这种情况下,我可以想象,当所有数据stream量不必跨越CPU和内存边界时,性能更加一致。