我们目前有一个双节点Oracle 11g RAC,使用1GigE作为专用互连。 在峰值更新时间,节点之间的stream量达到35兆字节/秒,所以我们在带宽容量方面仍然performance不错。 我们正在考虑向集群添加第三个节点,以支持我们在交易量方面的增长。 我想知道是否有人已经看到如何将节点添加到群集将影响私人互连stream量和什么会触发使用Infiniband。 据我所知,Infiniband不仅可以增加带宽,而且还可以缩短networking延迟。 任何使用Infiniband进行RAC专用互连的人都可以与我们分享您的经验吗? 提前致谢。
我有一个4节点的oltp rac数据库和一个3节点的dw rac数据库,使用IB作为互连。
我们使用思科IB交换机和思科IB卡。 我们使用IB以上的IP作为互连协议。 到目前为止,我们对结果非常满意。 从来没有一个互连stream量的问题。 我们已经接近饱和我们的gigE公共接口,但没有接近IB带宽的地方。 所有7个节点连接到主动/被动故障转移configuration中设置的2个infiniband交换机。
我从来没有在生产中使用过Infiniband,但据我所知唯一一次去Infiniband可能是有道理的,如果你发现自己犯了10GigE(如果我记得价格点在10GbE左右达到平衡的话) 。 以纳秒为单位测量的延迟非常酷,但是对于数据库来说非常重要? 不是真的。
你可能需要组build两个1Gb的连接(当然还有适当的硬件),或者在Infiniband之类的东西之前做任何其他的调整(比如Jumbo Packets,或者调整MTU)。
这就是说,Infiniband非常酷,如果你只是想吹嘘你的队友…
IB和10GbE之间的巨大差异应该是延迟。 IB使用DMAtypes的模型,延迟时间在微秒范围内,而10GbE则需要双方的上下传输。 IB也应该具有比10GbE更高的原始带宽,但10GbE在40和100GbE出现时可能会向后兼容。
实际上,我们的任务是build立一个具有IB互连的5节点Oracle集群,以及我们正在与戴尔合作的IB-> 10GbE交换机概念validation。 所以,我的信息主要是为了准备POC而进行的研究。
如果您更关心批量数据传输的成本(对于您的应用程序)以进行实例间同步,那么您当前的35Mbps速率目前已经足够低,以至于不太可能受到迁移到不同群集互连。
不要忘记,您可以非常轻松地将您的1Gbps以太网连接设置为4Gbps或8Gbps(取决于您可以在单个群集节点中保留的物理端口数量),而不会在networking堆栈中占用更多的延迟。
正如Farseeker所说,IB(在商业环境中)很酷,可以向你的伙伴吹嘘。 在科研界,IB几乎已经成为集群互连的商品。