4X10GB绑定网卡 – 只能产生4-5GB的吞吐量

我有两台运行Ubuntu 15.04的HPBL685c G6刀片服务器

  • 每台服务器都有4X10GB的网卡
  • 2x10GB网卡连接到单个VirtualConnect 10 / 10G以太网模块
  • 其他2x10GB NIC连接到第二个VirtualConnect 10 / 10G以太网模块
  • 虚连接模块configuration为水平堆叠,位于互连托架1和2中
  • 所引用的NIC都是embedded式的Flex-10适配器

当我分别configuration4个10GB网卡时,可以使用iperf进行testing,并且在每个网卡服务器之间接收〜10Gbit / sec的带宽。 这按预期工作。

  • 服务器1: http : //d.pr/n/15dA5
  • 服务器2: http : //d.pr/n/10pqJ
  • iperf结果: http : //d.pr/i/pscU和http://d.pr/i/zh2E

现在,我试图使用绑定模式“balance-rr”来绑定每台服务器上的所有10GB网卡。 这些结果各不相同,但在2.5Gbits / sec和5Gbits / sec之间

  • 服务器1: http : //d.pr/n/1aTei
  • 服务器2: http : //d.pr/n/12Mqy
  • iperf结果: http : //d.pr/i/1cvh0和http://d.pr/i/1eOgU

我使用相同的configuration在这些相同的服务器上绑定2X1GB网卡,使用iperf进行testing时,2X1GB网卡绑定的结果在〜2Gbit / sec带宽内。 这两个网卡没有连接到Virtual Connect Domain,而是分别连接到不同的Cisco Catalyst刀片交换机3120

  • 服务器1: http : //d.pr/n/1kk4f
  • 服务器2: http : //d.pr/n/fbVJ
  • iperf结果: http : //d.pr/i/10N4q和http://d.pr/i/1a0z3

所以,我的问题是:为什么使用balance-rr绑定4X10GB网卡导致性能低于使用单个网卡。 我预计〜40Gbit / sec的带宽减去TCP / Bonding开销,这与我在绑定2X1GB时的结果一致,在testing时达到〜2GB。

我尝试过不同的绑定模式,其他绑定模式下的带宽约为10Gbit / sec。 仍然不理想,但比平衡结果更好。

    虚拟连接模块似乎不支持Linux部署中的绑定模式0(balance-rr)。

    来自惠普支持: http : //h20564.www2.hp.com/hpsc/doc/public/display?docId=emr_na-c02957870

    信息 HP Virtual Connect环境中不受支持的绑定模式可能会导致数据包丢失和/或性能问题。

    详细信息 HP Virtual Connect支持绑定模式1,5或6. VC不支持模式0(循环法)或7(交换机辅助负载均衡)。

    模式1:主动/备份。 主动备份策略:绑定中只有一个从站处于活动状态。 当且仅当主动从站发生故障时,不同的从站才会激活。 绑定的MAC地址只在一个端口(networking适配器)上显示,以避免混淆交换机。

    模式5:自适应传输负载均衡:通道绑定,不需要任何特殊的交换机支持。 输出stream量根据每个从站的当前负载(相对于速度计算)分配。 stream入的stream量由当前的从站接收。 如果接收从站发生故障,另一个从站将接pipe发生故障的接收从站的MAC地址。

    模式6:自适应负载均衡:包括balance-tlb + IPV4stream量的接收负载均衡(rlb),不需要任何特殊的交换机支持。 接收负载均衡是通过ARP协商来实现的。