我正在考虑对我的中型存储进行下一次重组。 目前约30TB，通过AoE分享。 我的主要select是：
就我个人而言，我喜欢InfiniBand主机适配器的价格/性能，而Supermicro（我的首选硬件品牌）的大部分产品都有IB作为选项。
Linux有一段时间的IPoIB驱动程序; 但我不知道是否有一个众所周知的用于存储。 关于iSCSI over IB的大多数评论都谈到了iSER，以及它如何不被某些iSCSI堆栈所支持。
那么，有没有人有关于如何使用IB为Linux服务器共享存储的一些指针？ 那里有没有启动器/目标项目？ 我可以简单地使用iSCSI over IPoIB吗？
虽然可以通过IPoIB在InfiniBand上运行iSCSI，但iSER和SRP协议在InfiniBandnetworking上的性能会显着提高。 通过tgt项目可以获得用于Linux的iSER实施，并且可以通过SCST项目提供Linux的SRP实施。 关于Windows支持：目前没有可用于Windows的iSER启动器驱动程序。 但是，winOFED软件包中提供了一个用于Windows的SRP启动程序驱动程序（另请参阅openfabrics.org网站）。
我只需要使用Mellanox NIC来处理IB SAN。 在RHEL上开箱即用
您是否需要IB的延迟优势，或者您只是在寻找networking和存储的某种forms的组合？ 如果前者那么你没有select，IB是伟大的，但可以很难pipe理，FC工作伟大，是好的，快速，但有时感觉有点“老帽子”，如果你考虑所有的影响，iSCSI可以是一个很好的解决scheme。 如果我是你，我会通过FC Nexus局域网交换机和融合networking适配器通过FCoE访问FC存储。
所以……大多数人并没有真正想到的是以太网和IB如何传送数据包。 以太网一方面非常简单，而且无处不在。 但是数据包pipe理不是自动的，也不是保证交付。 当然，现代转换非常好！ 数据包丢失不再是回程时的问题。 但是，如果你真的推动以太网，你将开始看到数据包在那里循环。 这就像他们不知道该去哪里。 最终，数据包到达他们应该去的地方，但是由循环造成的延迟已经发生了。 有没有办法哄包到他们应该去的地方。
Infiniband使用有保证的交付。 数据包和数据包传输是积极pipe理的。 你会看到的是，IB将在业绩高峰，然后偶尔像方形正弦下降。 下降超过了毫秒。 然后performance再次高峰。
以太网峰值也出现了，但是在使用率很高的时候就会陷入困境。 它不是一个正方形的正弦曲线，它会下降，然后需要一段时间才能退回到最高性能。 它看起来像是左边的一个楼梯，右边是一个直线。
这是大型数据中心的问题，工程师selectIB以太网是因为这很容易。 然后，数据库pipe理员和存储工程师来回拼命，互相指责性能问题。 而且，当他们转向networking团队寻求答案时，问题就会出现，因为大多数工具都会发现“平均”networking使用率并不是最佳状态。 您必须观看数据包才能看到此行为。
哦! 还有一个原因是通过以太网挑选IB。 每个IB（FDR）端口可以达到56 Gb / s。 每个IB端口必须绑定（6个）10Ge端口。 这意味着无需布线。
顺便说一句，当您构build财务，数据仓库，生物逻辑或大型数据系统时，您需要大量的IOPS +带宽+低延迟+内存+ CPU。 你不能拿走他们中的任何一个，否则你的performance会受到影响。 我已经能够从Oracle推到7Gbytes /秒的全闪存。 我最快的全表扫描在13秒内达到60亿行。
交易系统可以缩减总带宽，但仍然需要前面提到的所有其他组件。 理想情况下，您可以将10Ge用于公共networking，IB用于存储和互连。
只是我的想法…约翰
什么10GB以太网？ 界面越是奇特，你就越难find驱动程序并追赶错误，所有的事情都会越来越昂贵。
好的 – 这是一个便宜的概要，因为一切都在cx4电缆距离（15米）内：
（我使用的是美元和网页上的价格，我假设卖方的价格也是美元）
是infiniband便宜得多？
（请注意 – 我从来没有真正使用过任何这种装备，我只会在search结束后30秒内通过谷歌popup任何内容，我当然不赞同或者build议它会做任何事情，坏）
我使用带有专用6端口交换机（HP 6400cl-6XG – 2200美元）和Intel双端口CX4 NIC（Intel EXPX9502CX4 – 650美元）的万兆iSCSI来解决同样的问题。 每台服务器的成本降到了NIC和一个100美元的CX4电缆。 在这种情况下，很less需要驱动程序等在混合的Linux，Windows和OpenSolaris环境中工作。
RDMA上的NFS在Fedora linux中工作得很好
这很容易build立。 安装正确的rpms并调整一些文件。 只需谷歌find说明。
我用了Mellanox MT25208 PCIe-x8 infiniband卡，闪过最新的固件。 两张卡和15米电缆的总成本为150美元。 谁在乎这个价格的“市场采纳”。
Smokin的带宽大大超过400 MBytes / sec，客户端或服务器上的CPU使用率非常低。 瓶颈是RAID控制器。
作为一个奖金，X上IPOIB也是smokin'，你发誓应用程序是本地的。
build立SAN时，IB的困难是pipe理srp目标。 有很less的预build解决scheme可用，而且大部分是昂贵的。 如果像Open-E这样的产品在其软件（特别是srp）中引入了本地IB支持，那么您将拥有一个简单的硬件解决scheme。 客户端在RHEL上安装非常简单，并且工作完美。 我们有一个现在正在运行的testing系统，一直在600MB / s的高负载下运行。 性能是惊人的，大量的可用带宽给你很大的安心和灵活性。 是的，你仍然受到数组速度的限制，但是使用IB你可以连接多个数组而不会损失性能。 使用一个用于备份，一个用于主存储等，并同时使用它们而不会损失任何性能。 根据我的经验，作为一个纯粹的RDMA存储networking，没有IP，没有任何东西可以击败IB，如果你到处逛逛，你可以设置一个非常合理的价格。 如果有人推出一些与Open-E类似的存储设备软件，并且全面支持SCST SRP，那么它将会打开IB的主stream市场，我会感到非常高兴。
我自己还没有实现IB存储解决scheme，但是据我所知，主要的问题是主机驱动程序在您的普通环境中没有广泛使用。 它们在Windows世界中的应用比在Linux世界更广泛。 在Linux世界中，它们通常位于“打包的”infiniband硬件设备或具有调整/定制驱动程序的超级计算应用程序中。
10G以太网或10G光纤在更广泛的使用。