IPoIB(IP over InfiniBand)与RDMA性能

我已经部分inheritance了一个Linux HA集群,该集群的中心目前通过两台Debian主机之间的IPoIB(IP over InfiniBand)与DRBD 8进行连接。 它没有坏,所以我不会修复它。

我也注意到DRBD 9支持RDMA,所以将来可能会出现是否用RDMA(即“本地”InfiniBand)代替与DRBD 9的连接的问题。

由于我不想在生产系统上运行性能testing,我想知道:是否发布了IPoIB与RDMA / InfiniBand的性能比较。 举例来说,我可以预计从10%,50%或100%的数量级的IPoIB切换到带宽/延迟增益吗? 什么可以预料?

你有看过这些介绍吗? https://www.linbit.com/zh/drbd-9-over-rdma-with-micron-ssds/ http://downloads.openfabrics.org/Media/Monterey_2015/Tuesday/tuesday_09_ma.pdf

InfiniBand只是提供RDMA的特定networking体系结构,但是性能取决于您正在运行的应用程序的types。 我的经验是基于大多数使用基于MPI的应用程序的学术/研究系统。 在某些情况下,我看到RDMA的性能比IPoIB好20%。 但我不知道有这样的基准,但有大量的学术论文和供应商白皮书。 如果您只是考虑I / O,那么请考虑:文件大小,读取次数与写入次数。 RDMA通常为随机小读取提供了很大的好处,但对写入来说只有很小的好处。 您可能需要阅读RoCE(融合以太网上的RDMA)和InfiniBand本地RDMA。