不稳定的10Gb铜缆链路，Broadcom和Intel卡到Cisco 4900M交换机

我们购买了一些带有QLogic / Broadcom BCM57810 PCI Express卡的戴尔PowerEdge R730服务器，并将它们连接到思科4900M交换机–10Gb链路无法可靠工作。 他们有时候不会连接，有时会在几分钟后连接，当他们连接时，他们每天会下降几次。 断开连接可以持续4分钟或2小时。

思科交换机现有的10Gb铜缆链接到戴尔PowerVault SAN，已经稳定并且可以工作数月。

我看到VMware日志中的断开连接如下所示：

bnx2x 0000:82:00.1: vmnic5: NIC Link is Down 

和

• iSCSI在交换机上使用上行链路端口
• 10GEnetworking：还是致命的吗？ 任何选项？
• build议：为虚拟化存储configuration10GbE NAS堆栈
• 10/20 / 40Gbps nginx大文件cachingwebserver
• 什么是序列化延迟？ 为什么10GB以太网有助于减less它？

  network connectivity on virtual switch "vSwitch2". Physical NIC vmnic5 is down. 

我看不到任何有用的错误代码或之前的消息，只有链接引起的消息下降。 在Windows上，它显示为断开连接的卡，在交换机上显示为断开连接的交换机端口。

当链接连接时，它们工作 – 巨型帧ping，iSCSI会话build立，数据存储显示所有find的path。 但连接是间歇性的。

我们检查了：

• 电缆：
  • 原来是Cat5e单电缆，现在是Cat6结构化布线。 电缆总长度<7米。
  • 连接一根新的电缆，主机可以在没有任何连接点和接点的情况下进行切换，也不需要连接其他线缆
• 司机/操作系统：
  • 最初的VMware ESXi 5.5 U2戴尔构build（“ESXi 5.5.0,2068190”）与bnx2x驱动程序版本2.710.39.v55.2
  • 然后从vmware.com更新驱动程序，bnx2x版本2.710.70.v50.7
  • 然后，ESXi 6.0，戴尔build立（“ESXi 6.0.0 2494585”），它具有bnx2x版本2.712 …
  • 然后使用戴尔网站的最新驱动程序Windows Server 2012 R2。
• QLogic / Broadcom网卡固件; 这是戴尔最新的FFv7.12.17。
• 交换机的端口configuration，简直就是mtu 9000和switchport access vlan NNN
• 交换机端口
  • 这些是8端口10Gb RJ45模块（WS-X4908-10G-RJ45），每个交换机一个。 SAN占用每个模块中的前四个端口，新服务器占用每个模块中剩余的四个端口。 这似乎影响到我们用于新服务器的所有端口。 所以这不是一个失败的端口，或一个失败的模块。
  • 我没有尝试中断SAN连接来testing这些端口，没有一些特定的理由认为端口1-4比5-8更可靠，这将是最后的手段。
• 交换机接口计数器，没有错误，除了断开连接。
• 禁用Windows QLogic / Broadcom驱动程序中的各种卸载function，并启用EnergyEfficientEthernet，将卡强制为10Gb而不是自动检测。
• 连接相同的主机到相同的交换机到1Gb端口，似乎工作正常，他们反复连接很快。
• 交叉连接两台主机，它们以10Gb快速连接，并保持连接数天。
• 我们买了一块英特尔X540-t2卡，然后试了一下。 它performance相同。
• 从那以后，我们购买了Cat 6a接插电缆并进行了testing，没有任何改变。

我们提出了戴尔的支持呼吁，他们没有发现任何错误，并build议交换机出现故障，但交换机运行10Gb铜连接到戴尔PowerVault存储，并据我所知，从我们的交换机监控日志和SAN事件日志，那些链接不会下降，我不想思科思科交换机是问题。

他们运行IOS 15.1（1）SG2这不是最新的，但交换机是活的和稳定的，我不想随便改变固件“以防万一”。

这发生在多个服务器，多个网卡，多个品牌的网卡，多个驱动程序版本，多个交换机。 它不能是一个单一的错误的硬件。 全部放在有空调的，带电源的机柜里。

这是我们第一次尝试VMware主机在10Gb交换连接，所以我们没有其他configuration可以比较，或者我们可以连接的硬件。

我们还能检查什么？

– 编辑 ：我们希望升级交换机固件，但我刚刚find了一个相关的链接 – 这似乎是Cisco WS-X4908-10G-RJ45模块和Broadcom BCM57810卡之间的一个已知问题，IOS版本依赖- https://supportforums.cisco.com/discussion/11755141/4900m-ws-x4908-10g-rj45-port-startup-delay它有很多相关的讨论，并导致：

https://tools.cisco.com/bugsearch/bug/CSCug68370

WS-X4908-10G-RJ45和Broadcom 57810S 10Gb BASE-T互操作性问题

CSCug68370

描述

症状：使用Broadcom 57810S DP 10Gb BASE-T连接到Dell 820服务器的10Gbps BaseT端口（在WS-X4908-10G-RJ45上）。 重新加载交换机或拆卸/重新安装电缆端口在很长一段时间（最多1小时）之后才会出现，或根本不会出现。 条件：1）模块WS-X4908-10G-RJ45 2）版本15.0（2）SG到15.0（2）SG7,15.1（2）SG到15.1（2）SG3解决方法：降级到12.2（54）SG

这不是完全相同的服务器型号，并没有提到英特尔的卡，但问题是一个很好的匹配。