我有2台运行RHEL 6.3的服务器,其中有2个端口的Infiniband卡
>lspci | grep -i infini 07:00.0 InfiniBand: QLogic Corp. IBA7322 QDR InfiniBand HCA (rev 02)
我有兴趣将它们直接连接到一个绕过Infiniband开关(我没有)。 快速的谷歌search表明,至less在一些configuration是可能的 。
我用yum groupinstall“Infiniband Support”安装了所有的RedHat Infiniband软件包。 但是,ibv_devinfo显示每个卡上的两个端口均已closures,这表示电缆未连接。 但电缆已连接,虽然指示灯熄灭(不是一个好兆头)。 另一个困扰我的是,根据这个 ,RedHat没有配备OFED软件包,而且由于缺乏RedHat对它们的支持,我稍微犹豫要从源代码安装它们…所以我要去哪里? 我有的问题是:
任何额外的input/build议/指针将不胜感激。
PS我遵循本指南的安装说明。 我的操作系统清楚地识别Infiniband卡,rdma服务正在运行。
更新:我已经安装了opensm。 当我运行它说:
OpenSM 3.3.13 Command Line Arguments: Log File: /var/log/opensm.log ------------------------------------------------- OpenSM 3.3.13 Entering DISCOVERING state Using default GUID 0x1175000076e4c8 SM port is down
并停留在那一点。
更新2:我无法让我的configuration使用RedHat软件包。 openfabrics的OFED软件包也没有工作。 但是,我发现英特尔(今年早些时候收购了QLogic)的官方驱动程序是哪种工作。 那种,因为即使当我拿到卡片工作,并互相交谈,重新启动后,他们永远不会回到PORT_ACTIVE状态。 那么我可能会提出另一个问题。
迟到的回应,但这实际上是英特尔司机中的一个已知的错误
尝试启动后运行这个:
ibportstate -D 0 1 enable
您可能应该尝试寻找卡制造商提供的驱动程序 – QLogic。
“ibstat”的输出显示了什么? 港口的物理状态是否下降? 答案可能是“是”。 我认为你在某些方面遇到了电缆或连接问题。 在运行SM之前,ibv_devinfo中的端口状态应该是PORT_INIT。 PORT_DOWN表示您没有链接。
一个古老的问题,但这是我的答案。
1)你有加载卡的内核驱动程序? 它应该是ib_qib
尝试:
lsmod | grep ib_qib
如果未加载,请将其configuration为在/ etc / modules中引导时加载,或者是redhat标准用于此类sorting的内容。 (这是基于debian的系统中的/ etc / modules)。
另外如果你想运行IPoIB,你需要加载该模块。 这是我build议你的情况最低。
ib_qib rdma_ucm ib_umad ib_uverbs ib_ipoib
2)确保子网pipe理器正在运行。 你需要它在两个端口上运行。 因此,您将看到在进程列表中运行的两个子网pipe理器,每个端口一个。