10Gbps iSCSInetworking仅以2Gbps传输

我的SAN有一个性能问题。 我有一个完整的10Gbps私人networking设置。 我有以下设置

1 – Mac通过光纤收发器10GbE连接
1 – 带有10GbE的Windows 7 PC
1 – 所有端口均为10GbE的HP交换机
2 – 具有10GbE的Quantum StorNext服务器
1 – 带2个控制器的Dell Compellent解决scheme以10GbE连接到networking
所有服务器,交换机和计算机都具有静态分配的IP

Compellentconfiguration
第1层 – 10K SAS RAID 10中的驱动器
第2层 – 7200 SAS驱动器(12组,每组13个驱动器)

附加信息
Windows 7客户端TCP卸载选项
IPv4校验和卸载 – 已启用
TCP校验和卸载 – 启用
UDP校验和卸载 – 启用
大量发送卸载 – 启用
巨型数据包 – 启用9014字节

我在Windows 7 PC和Lion工作站上安装了StorNext卷。 不幸的是我所有的传输速度都在2Gbps或2.8Gbps左右(如果我真的很幸运)。 我期待从这个设置中获得至less5Gbps的速度,但是我在文件复制上的平均传输速率大约为2Gbps或略高于250MBps。 当我将一个LUN直接映射到这个盒子上,然后用Windows 7上的MAC或NTFS上的HFS(有日志logging)本地格式化,然后复制一个文件,我就可以得到大约180MBps。 所以我在直接映射LUN上的性能比我的StorNext Volume慢。 有什么build议么? 有没有人看到与10GbE iSCSI降低性能? 任何帮助都是极好的! 谢谢!

1.)Jumbos – 如果你看到很多处理器负载的中断stream量,但是如果TCP运行正常,它应该能够在10G链路上稳定地超过2G。 我已经看到很多10GE链接运行在90%以上没有jumbos启用。

2.)如果您使用jumbos,请在VLAN和/或广播域中的每个NIC和每个交换机端口上启用相同的大小。 当数据包通过路由器并且在同一个networking中混合MTU值时,PMTU将起作用,只会导致灾难。

3.)我对Procurve设备并不是特别熟悉,但是如果对缓冲区可用性有任何疑问,TCPstream量在高速下可能会非常棘手。 我已经看到了其他的testing表明(没有明显的TCP下降),作为一个巨大的性能削减,最终通过实际减less缓冲区大小来解决。

4.)确保实际的TCP设置(1323,SACK等)全部configuration一致。 有问题的操作系统应该没问题,但是我不太了解存储节点。 可能值得深入研究 – 无论是在设备上的设置还是通过协议跟踪(wireshark或tcpdump)来观察窗口大小和任何正在进行的重传。

5.)尝试尽可能多地消除variables – 即使是在您的一个存储节点和单个工作站之间的交叉电缆 – 以进一步隔离问题。 不要害怕禁用你提到的一些卸载,因为他们已经知道会不时地引起问题。

如果你使用1500 MTU,build议#1,在〜9000时使用巨帧/数据包。 看起来你在某种程度上启用了Jumbo数据包(基于“Jumbo Packet – 9014Bytes Enabled”),所以你也可以处理数据包也被分割的情况。 确保沿path的所有内容都设置为允许9014字节的数据包。

不是你要找的答案,但我们的Compellent SAN只是一个令人失望的performance。 我也有类似的性能数据(在我跳上之前…这是在一个专用的10G iSCSI交换机上使用Jumbo帧,并且所有的事情都被CoPilot和戴尔的“Tiger Team”所证实,其他SANS(EMC和许多Equallogics)具有相当的起泡性能)。 是什么让我们摆脱了这个特殊的性能瓶颈,取而代之的是一个错误的控制器。

你有副驾驶看过configuration吗? 如果设置正确,SAN将会报告回家,他们可能已经被标记。

你在这些客户机上有什么接口速度? 任何有趣的networking设置? 最新的驱动程序? 在进行传输testing时,资源监视器中的CPU /内存是什么样的?

如果您担心networking性能,请尝试使用iperf来testing计算机之间的networking速度; 这将有助于排除networking相关的问题。

你有没有考虑完全禁用巨型帧?