LACP绑定在Cisco N5000上间歇性地工作

我们的客户正在使用Centos 7.1和7.3。 他们是两个10GB的卡绑定到一个20GB的链接。 每个网卡都连接到一对Cisco N5000交换机。 在运行cp或iperf时,我可以看到有时stream量只能通过一个接口,所以我们只能达到10GB。 其他时候,它通过这两个接口,我们得到20GB。

这不是一个错误的网卡或电缆,因为我testing了一些服务器,他们都performance出相同的行为。

同一交换机/子网上两个客户端之间的iperf。

# for i in {1..10}; do iperf -c 172.16.15.19 -l 1M -P 16 -t 300| grep SUM; done [SUM] 0.0-300.0 sec 344 GBytes 9.84 Gbits/sec [SUM] 0.0-300.0 sec 344 GBytes 9.84 Gbits/sec [SUM] 0.0-300.0 sec 344 GBytes 9.84 Gbits/sec [SUM] 0.0-300.0 sec 344 GBytes 9.84 Gbits/sec [SUM] 0.0-300.0 sec 344 GBytes 9.83 Gbits/sec [SUM] 0.0-300.0 sec 688 GBytes 19.7 Gbits/sec [SUM] 0.0-300.0 sec 344 GBytes 9.85 Gbits/sec [SUM] 0.0-300.0 sec 344 GBytes 9.84 Gbits/sec [SUM] 0.0-300.0 sec 344 GBytes 9.83 Gbits/sec [SUM] 0.0-300.0 sec 688 GBytes 19.7 Gbits/sec 

这是债券设置

 DEVICE=bond1 ONBOOT=yes NETBOOT=yes TYPE=Ethernet HOSTNAME=removed BOOTPROTO=static IPADDR=172.16.15.18 NETMASK=255.255.255.0 GATEWAY=172.16.15.1 DNS1=10.1.1.71 DNS2=10.1.1.70 MTU=9000 BONDING_MASTER=yes BONDING_OPTS="mode=4 miimon=100 xmit_hash_policy=layer3+4" 

这里是eth设置。 只发布一个,因为它们与eth名称相同。

 BOOTPROTO=none TYPE=Ethernet NAME=eth16 DEVICE=eth16 ONBOOT=yes MTU=9000 MASTER=bond1 SLAVE=yes 

以下是Cisco N5000的设置。

 interface port-channel3008 description <removed> switchport access vlan 3900 vpc 3008 interface Ethernet103/1/31 description <removed> switchport access vlan 3900 channel-group 3008 mode active 

你真正看到的只是端口通道负载均衡algorithm的“量化”效应。 一个单一的stream程将始终通过相同的物理接口,在你的情况下,你有两个点,你必须根据一个可configuration的散列algorithm决定通过接口1或2。 正如Peterbuild议的那样,检查交换机端的负载均衡algorithm:最近的Nexus默认为layer3 + 4,老的默认src-dst MAC(在这种情况下,在同一个节点之间不会看到20Gbps的速度)。 事实上,当您使用有限数量的stream程进行testing时,可以看到类似的情况。