将RDMAnetworking设备传递给docker集装箱

我想通过infiniband到docker集装箱,以便我可以通过ipoib运行一些高性能的应用程序,并使用rdma。

目前,我正在用xen虚拟机来做这件事。 现在我正在考虑使用CoreOS和docker作为一个更轻,更容易pipe理替代。

我有一个IPoIB设备ib0,其静态IP分配给10.10.10.10。 我已经设法得到这暴露在一个docker集装箱与以下内容:

docker run –net = host –device = / dev / infiniband / uverbs0 –device = / dev / infiniband / rdma_cm -t -i ubuntu:14.04 / bin / bash

太好了,那是有效的。 docker集装箱内有ib0。

现在让我们假设我有一个双端口HCA。 在主机上,这些显示为ib0&ib1,并分配了两个ip。 10.10.10.10/ib0和10.10.10.11/ib1

现在我想通过ib0到第一个容器,ib1到第二个。 使用上面的方法都会出现在两个容器中,因为–net = host选项。 但是,不指定它意味着设备根本不出现。

另一种情况是我有很多使用SR-IOV来通过infiniband设备到Xen虚拟机的机器。 我怎么能通过一个虚拟的functioninfiniband设备到docker集装箱,并出现?

注意:pipe道工作在这种情况下不起作用,但是如果我理解得更好,它可能会被黑客做我想做的事情。 我只是不太明白它在做什么。

现在我可以回答我自己的问题如何做到这一点。

使用我刚刚修补的pipe道工作与Infiniband或RDMA IPoIB设备一起使用。

你这样运行

~ $ docker run --device=/dev/infiniband/uverbs0 --device=/dev/infiniband/rdma_cm -d container ~ $ pipework ib0 container-id ip/netmask 

由于IPoIB设备不支持桥接,所以在命令发出后,整个ib0设备对主机是隐藏的。 即它被移动到容器的networking名称空间。

如果没有桥接使用SR-IOV并通过pipe道传递虚拟function来获得类桥function。

最新的版本使用类似于macvlan的虚拟IPoIB。 因此真正的ib0在主机中仍然可见。 它与以太网版本非常类似。