用于四面体背靠背GB-lan拓扑结构的4 *商品集群的消费电路板

我不是很确定什么消费者董事会select这样的configuration。

我打算构build一个或多个“Beowulf-like群集”(从一个testing开始),一个这样的群集由四个框架(商品Socket-1156 + i7 / 875K + 2x2GB 1333)四面体Gbit-Lan拓扑结构X-Link连接)。

在下图中,名为A,B,C或D的每个盒子都有四个 Gbit-NIC,一个指向上游Gbit交换机(细线),三个用于连接其余盒子(每个颜色表示两个NIC之间的一个子网):

四面体Gbit设置

这意味着一个可靠的€2.5K(可能更便宜)的“32节点”运行64位Linux和OpenMPI的计算服务器。 服务器通过OpenMPI在节点上启动数值模拟,节点将通过它们的背对背连接进行通信。

问题 :我testing了一个类似的设置已经在“三angular”群集(三个节点,每个有两个额外的PCIe网卡板载千兆网卡) 成功一个板型( 技嘉P55A-UD3R )。

我testing过的另一个主板( 技嘉P55A-UD4 )在全networking负载(但不是单节点模式下)几分钟后重现失败。

对于上述设置,我想使用能够承受四个同时Gbit链接的主板。 从我的三angular形设置我知道每个网卡传输约50-80 MB / s的任何时候(iftop)。

  • 四面体拓扑结构(如上所示)是可能的吗?
  • 我应该select带有两个板载 Gbit-NICS(昂贵)的电路板吗?
  • 消费电路板上的PCIe可以同时支持4条Gbit线路吗?
  • 是一堆廉价(被动)PCIe网卡好吗?
  • 有没有人做类似的build议?

感谢和问候

RBO

您的网卡的质量可能是问题。 用于消费电路板的板载networking通常是廉价的Broadcom或Realtek芯片组,在实际负载下是相当可怕的。 廉价的消费级网卡也会遇到类似的问题。

具有更好的英特尔芯片组的独立网卡相当受到好评。

消费电路板上的PCIe应该能够毫无问题地处理这种带宽。

为此,购买企业级nics – 无论从速度还是CPU负载(更便宜的nics卸载处理到您的cpu),其他任何事情都会给您带来麻烦。 我会考虑像英特尔千兆位ET2四端口服务器适配器。

http://www.intel.com/Products/Server/Adapters/Gb-EF-Dual-Port/Gb-EF-Dual-Port-overview.htm

这会跑400美元左右,这不便宜,但会给你你需要的performance。

另外,请确保您不会意外地通过交换机传输stream量。 如果您没有昂贵的企业级交换机,这可能会导致满负荷的问题。 如果您的硬件支持,打开巨型帧。