我有两台相同的电脑，通过电缆连接Mellanox卡。 没有开关。 使用opensm。
我已经运行了几个testing，包括ping_pongtesting，ibping等，他们都似乎工作。 但是，当我运行这个testing时，它回来了似乎是一个错误，我不明白。
我确实告诉了防火墙
sudo iptables -I INPUT -p tcp -s 192.168.0.0/24 -j ACCEPT -m comment --comment "Allow Infiniband" sudo iptables -I INPUT -p udp -s 192.168.0.0/24 -j ACCEPT -m comment --comment "Allow Infiniband" 任何帮助解密和一个可能的解决scheme将是伟大的。
[idf@node2 Downloads]$ sudo ib_write_bw ************************************ * Waiting for client to connect... * ************************************ --------------------------------------------------------------------------------------- RDMA_Write BW Test Dual-port : OFF Device : mlx4_0 Number of qps : 1 Transport type : IB Connection type : RC Using SRQ : OFF CQ Moderation : 100 Mtu : 4096[B] Link type : IB Max inline data : 0[B] rdma_cm QPs : OFF Data ex. method : Ethernet --------------------------------------------------------------------------------------- local address: LID 0x01 QPN 0x004a PSN 0xa79f2e RKey 0x50042a04 VAddr 0x007f1682804000 remote address: LID 0x02 QPN 0x004a PSN 0x5ef914 RKey 0x40042502 VAddr 0x007f94f9ce9000 --------------------------------------------------------------------------------------- #bytes #iterations BW peak[MB/sec] BW average[MB/sec] MsgRate[Mpps] ethernet_read_keys: Couldn't read remote address Unable to read to socket/rdam_cm Failed to exchange data between server and clients [idf@node2 Downloads]$ [idf@node1 python]$ sudo ib_write_bw 192.168.0.1 --------------------------------------------------------------------------------------- RDMA_Write BW Test Dual-port : OFF Device : mlx4_0 Number of qps : 1 Transport type : IB Connection type : RC Using SRQ : OFF TX depth : 128 CQ Moderation : 100 Mtu : 4096[B] Link type : IB Max inline data : 0[B] rdma_cm QPs : OFF Data ex. method : Ethernet --------------------------------------------------------------------------------------- local address: LID 0x02 QPN 0x004a PSN 0x5ef914 RKey 0x40042502 VAddr 0x007f94f9ce9000 remote address: LID 0x01 QPN 0x004a PSN 0xa79f2e RKey 0x50042a04 VAddr 0x007f1682804000 --------------------------------------------------------------------------------------- #bytes #iterations BW peak[MB/sec] BW average[MB/sec] MsgRate[Mpps] Conflicting CPU frequency values detected: 1600.000000 != 1733.000000 Can't produce a report [idf@node1 python]$
事实certificate，这已经见过。 我不喜欢这个答案，因为它似乎把它扫在地毯下面，但是这是一个答案：
http://linuxtoolkit.blogspot.com/2013/01/errors-when-running-doing-ib-testing.html
这通常是因为没有在内核中加载所有必需的模块。 他们不默认加载。 不知道centos如何处理它，但在Ubuntu中，您需要将这些模块放在/ etc / modules中，以便内核将加载它们。
mlx4_ib rdma_ucm ib_umad ib_uverbs ib_ipoib
我假设ib_ipoib和mlx4_ib已经加载，否则你将无法通过infiniband工作的IPnetworking。
如果你还没有安装，你还需要安装libmlx4。
如果不这样做，请尝试此链接列出Centos所需的所有软件包（注意：libmthca适用于较旧的mellanox芯片组[infinihost]，因此您不需要它。