当交换机上的无关设备closures时,networking性能会恶化

我在networking设置中见证了非常直观的效果。

我有一个连接到千兆以太网交换机的三个设备(我们称之为服务器笔记本电脑nettop ,所有运行Linux,细节如下)的networking设置。

我测量networking吞吐量(a)通过使用scp将文件从服务器传输到笔记本电脑 ;(b)使用服务器上的iperf -s笔记本电脑上的iperf -c

当所有三个设备启动并运行时,当我执行吞吐量testing时,我会得到大约40 MB / s(SSH)或280 Mbits / s(iperf)的ok-ish性能

但是,一旦我关掉了完全不涉及测量过程的networking ,我就得到大约3.5 MB / s(SSH)或者58 Mbits / s(iperf)的糟糕performance。

如果反过来 ,我会试图找出上网是否干涉转移。 但是当我把它关掉的时候,性能下降了一个数量级,这让我感到困惑。

这种行为是完全可重复的。 一旦上网得到了响应,性能立即上升。 一旦closures,性能下降。

我尝试在交换机上切断电源一分钟,然后在交换机上的以太网端口周围洗牌,没有任何效果。

所以我的问题是:什么可能导致我目睹的效果? 为了缩小问题的原因,我在哪里看?

有关安装的详细信息

上网机

  • 富士康nT-330i,英特尔凌动330
  • 内置Atheros AR8131千兆以太网控制器
  • Ubuntu 10.04(lucid),kernel 2.6.32-29,amd64

笔记本电脑

  • Thinkpad R61,Intel Core 2 Duo T8300
  • 内置Broadcom BCM5787M千兆以太网控制器
  • Ubuntu 11.10(oneiric),内核3.0.0-16,amd64

服务器

  • AMD Athlon 64 X2
  • 英特尔82574L千兆位以太网控制器(e1000e)
  • Debian 6.0.4(squeeze),kernel 2.6.32-5,amd64

开关

  • 一级GSW-0806 8端口千兆交换机

服务器有两个额外的networking接口,一个连接到电缆调制解调器,另一个连接到无线路由器。

服务器运行一个DHCP服务器,由nettop和laptop从其获取地址。 它还运行许多其他服务,包括运行两个虚拟机的KVM。

IP寻址

所有设备都在10.2.3.0/24networking中。 服务器有10.2.3.1 ,笔记本电脑10.2.3.37 ,上网10.2.3.42 。 连接到Wifi的服务器接口有10.2.4.1/24 。 nettop和笔记本电脑的WiFi适配器都没有启用。

ethtool输出

ethtool显示以下适配器设置。 这些输出不受closures和上网影响

在服务器上:

 # ethtool eth0 Settings for eth0: Supported ports: [ TP ] Supported link modes: 10baseT/Half 10baseT/Full 100baseT/Half 100baseT/Full 1000baseT/Full Supports auto-negotiation: Yes Advertised link modes: 10baseT/Half 10baseT/Full 100baseT/Half 100baseT/Full 1000baseT/Full Advertised pause frame use: No Advertised auto-negotiation: Yes Speed: 1000Mb/s Duplex: Full Port: Twisted Pair PHYAD: 1 Transceiver: internal Auto-negotiation: on MDI-X: on Supports Wake-on: pumbag Wake-on: g Current message level: 0x00000001 (1) Link detected: yes 

在笔记本电脑上:

 # ethtool eth0 Settings for eth0: Supported ports: [ TP ] Supported link modes: 10baseT/Half 10baseT/Full 100baseT/Half 100baseT/Full 1000baseT/Half 1000baseT/Full Supports auto-negotiation: Yes Advertised link modes: 10baseT/Half 10baseT/Full 100baseT/Half 100baseT/Full 1000baseT/Half 1000baseT/Full Advertised pause frame use: Symmetric Advertised auto-negotiation: Yes Speed: 1000Mb/s Duplex: Full Port: Twisted Pair PHYAD: 1 Transceiver: internal Auto-negotiation: on MDI-X: Unknown Supports Wake-on: g Wake-on: g Current message level: 0x000000ff (255) drv probe link timer ifdown ifup rx_err tx_err Link detected: yes 

但是,一旦我关掉了完全不涉及测量过程的networking,我就得到大约3.5 MB / s(SSH)或者58 Mbits / s(iperf)的糟糕performance。

这强烈地表明,当您断开上网时,交换机(这是一个无品牌的标样)将整个背板下降到100mbit。

我认为这比怪异更糟 – 这是不可接受的。

但是,你有它。

这与mfarverbuild议的一样:我的开关坏了。 我换了一个新的(这次是Cisco SG-200-08),现在一切都像一个魅力,不pipe哪个附加设备连接,哪个不连接。