10GEnetworking:还是致命的吗? 任何选项?

我正在build立家庭集群,我将有大约16个节点可以用1G端口居住,但是我想在文件服务器和中心节点上有10GE。 这都是本地的,所以不需要长度超过3-5米的电缆。 当然,我想花尽可能less的钱(不会花费更多的整个集群成本):-)

我有什么select?

  1. 传统的解决scheme是采用一些24-48端口1GE交换机,并通过4-8个聚合链路连接到文件/中心节点。 这将工作,我想,成本是非常可以接受的,但我不知道是否可以使用这么多的聚合链接。 当然,在需要的时候,很难将带宽加倍…: – D
  2. 切换几个10GE上行“端口”。 据我所知,他们都需要1000美元左右的模块,所以我需要4个10G模块和2个10GE卡…闻起来就像超过5000美元+ …
  3. 通过2个10G卡直接连接文件和中心节点,并将4个4端口1GE网卡放在文件服务器上。 我节省了2 10G模块和交换机,文件服务器将不得不做分组路由,但它仍然会有很多的CPU剩下:-)
  4. 任何其他选项? Infiniband的?
  5. MyriNet适配器工作正常吗? 我想没有更便宜的select?
  6. 嗯…废文件服务器,把它放在中央节点,并为每个节点提供专用的1GE端口…这是伤心的…

我不认为你在这里看不到整个画面。

你想连接一个文件服务器在10Gbps的速度,这听起来像一个性感的想法。 您没有看到的是该服务器从磁盘生成大量stream量读取的能力。 从文件服务器获得1GBps是今天取得的一个非常好的成就。 10Gbps不仅价格昂贵,而且至less有90%是无用的。

如果需要提供如此大量的IO,最好的select是开始在文件服务器中放入快速磁盘。 我坚信,“实惠”(注意报价)path是在快速RAIDconfiguration(即RAID10)中的SSD驱动器。

至于networking方面,一个4x1Gbps的agregate可以很好的解决这个问题,你甚至可以在以后添加更多。 注意内部总线(读取PCI *)不总是能够处理数千兆位的速度。 如果您不使用服务器级主板,则尤其如此。

我相信这是你唯一的“负担得起”的select。 Infiniband卡并不是非常昂贵的。 我相信你可以find一些约150美元,但交换机将非常昂贵。

如果您想要保存一些昂贵的三层交换机,您可能需要考虑使用以太网ATA。 这是chioce的低成本,高性能的解决scheme,比我所知的任何其他文件系统都好。 但是没有10Gb的vanilla交换机(没有L3交换机)。

考虑作为一个POC:Ubuntu服务器10.x和AOE工具项目http://sourceforge.net/projects/aoetools/files

https://help.ubuntu.com/community/ATAOverEthernet