vSphere 5 / Dell MD3000i多pathconfiguration说明

为了简单起见,使用两台戴尔20世纪50年代的每台主机: esxi1esxi2重新访问一个较旧的vSphere设置。

SAN是Dell MD3000i,两个控制器,每个控制器有两个NIC: rc00rc01 ; rc10rc11

目前只configuration一个LUN 0 /虚拟磁盘; RAID 10,300GB SAS 15K,6个主轴。 控制器/通道如下:

rc00 :192.168.130.101/24

rc01 :192.168.131.101/24


rc10 :192.168.130.102/24

rc11 :192.168.131.102/24

交换机( sw-1sw-2 )是Dell PowerConnect 5424s; iSCSI“优化”(QoS)未启用,因为两台交换机上没有其他stream量。 启用巨帧,9000 MTU,stream量控制开启,MDIX自动。

希望做一些基准,而这个设置是空的,我有一些时间在我的手中。

不知道如何设置多path,因此,从戴尔和vmware上search几个较旧的4.1白皮书,我看到了两种方法:

一个带有多个VMKernel端口和物理NIC的vSwitch:

rc00:192.168.130.101sw-1 —- esxi1:vSwitch1:vmk1:eth1:192.168.130.11 rc01:192.168.131.101sw-2 —- esxi1:vSwitch1:vmk2:eth2:192.168.131.11

…或者具有一个VMKernel端口和一个物理NIC的两个vSwitch:

rc00:192.168.130.101sw-1 —- esxi1:vSwitch1:vmk1:eth1:192.168.130.11 rc01:192.168.131.101sw-2 —- esxi1:vSwitch2:vmk1:eth2:192.168.131.11

问题1:在性能上有什么实际差异或是select其中一个的理由? 其他一切看起来好吗?

问题2:实际上,我已经在网卡控制器上错开了VMKernel Ports,这样一个VMKernel Port /物理网卡(eth1)绑定到一个内置的Broadcom网卡,另一个(eth2)绑定到一个的英特尔网卡。

我想如果其中一个NIC / NIC控制器南下,那么通过第二个NIC / NIC控制器仍然有可用的path。 想知道如果这会造成多path性能问题或一般的片状; 没有看到任何东西指出这种或那种方式。

也许我正在期待一个可能永远不会“失败”的失败(也就是说,如果网卡出现故障,主机很可能会被吓倒)。

注意:“一个vSwitch,多个VMKernel端口”方法实际上似乎吓倒了ESXi主机。 需要很长时间才能重新启动,有时path/ LUN不会显示主动/主动I / O或根本不显示,需要重新扫描和/或向上/向下VMKernel才能使其再次看到LUN 。 无论如何,在同一个vSwitch /广播域中放置两个不同的子网时,configuration看起来很奇怪,我相信vSwitch是一个二层交换机。


基准#1:这不是很糟糕吗?

使用“典型”设置运行ubuntu 10.04.2 LTS(1个vCPU,1024 MB RAM,8 GB磁盘,默认为文件系统,带LVM的ext4)和bonnie++

 gravyface@testubu:~$ bonnie++ -f -d /tmp Writing intelligently...done Rewriting...done Reading intelligently...done start 'em...done...done...done...done...done... Create files in sequential order...done. Stat files in sequential order...done. Delete files in sequential order...done. Create files in random order...done. Stat files in random order...done. Delete files in random order...done. Version 1.96 ------Sequential Output------ --Sequential Input- --Random- Concurrency 1 -Per Chr- --Block-- -Rewrite- -Per Chr- --Block-- --Seeks-- Machine Size K/sec %CP K/sec %CP K/sec %CP K/sec %CP K/sec %CP /sec %CP testubu 2G 96131 57 33783 16 98930 17 444.6 13 Latency 623ms 645ms 111ms 503ms Version 1.96 ------Sequential Create------ --------Random Create-------- testubu -Create-- --Read--- -Delete-- -Create-- --Read--- -Delete-- files /sec %CP /sec %CP /sec %CP /sec %CP /sec %CP /sec %CP 16 16509 79 +++++ +++ 25608 88 19044 86 +++++ +++ 25079 86 Latency 10289us 1398us 8288us 509us 442us 12159us 

以2:

 Version 1.96 ------Sequential Output------ --Sequential Input- --Random- Concurrency 1 -Per Chr- --Block-- -Rewrite- -Per Chr- --Block-- --Seeks-- Machine Size K/sec %CP K/sec %CP K/sec %CP K/sec %CP K/sec %CP /sec %CP testubu 2G 97240 54 32974 17 93371 17 420.6 14 Latency 291ms 1421ms 1266ms 616ms Version 1.96 ------Sequential Create------ --------Random Create-------- testubu -Create-- --Read--- -Delete-- -Create-- --Read--- -Delete-- files /sec %CP /sec %CP /sec %CP /sec %CP /sec %CP /sec %CP 16 14410 71 +++++ +++ 22082 86 18109 88 +++++ +++ 22054 88 Latency 108ms 1324us 2400us 814us 88us 4835us 1.96,1.96,testubu,1,1336168050,2G,,,,97240,54,32974,17,,,93371,17,420.6,14,16,,,,,14410,71, +++++,+++,22082,86,18109,88,+++++,+++,22054,88,,291ms,1421ms,,1266ms,616ms,108ms,1324us,2400us,814us,88us,4835us 

以3:从esxcli设置--iops=3

 Version 1.96 ------Sequential Output------ --Sequential Input- --Random- Concurrency 1 -Per Chr- --Block-- -Rewrite- -Per Chr- --Block-- --Seeks-- Machine Size K/sec %CP K/sec %CP K/sec %CP K/sec %CP K/sec %CP /sec %CP testubu 2G 115663 61 35594 18 103602 21 440.0 17 Latency 285ms 571ms 52049us 477ms Version 1.96 ------Sequential Create------ --------Random Create-------- testubu -Create-- --Read--- -Delete-- -Create-- --Read--- -Delete-- files /sec %CP /sec %CP /sec %CP /sec %CP /sec %CP /sec %CP 16 14206 73 +++++ +++ 22753 90 18424 91 +++++ +++ 22367 90 Latency 108ms 1951us 1827us 6200us 326us 6127us 1.96,1.96,testubu,1,1336168752,2G,,,,115663,61,35594,18,,,103602,21,440.0,17,16,,,,,14206,73,+++++,+++,22753,90,18424,91,+++++,+++,22367,90,,285ms,571ms,,52049us,477ms,108ms,1951us,1827us,6200us,326us,6127us 

问题1:每个vmkernel端口一个vSwitch是通常的做法,但是我不确定是否有其他方法会出现问题。 vSphere 5具有非常严格的一致性testing,您必须通过以将绑定器绑定到iSCSI发起程序,如果您使用单个vSwitch,则可能会失败。 但这些只是我的想法,而不是实际的事实:)

问题2:我还为每个vmkernel使用了不同的网卡,因为我之前看到网卡的性能下降了。你真的不想失去与存储设备的所有连接。但是再一次,这样的事情发生的可能性不大,很大。 在FC环境中,使用双单端口HBA而不是单端双端口HBA也很常见。 比对不起更好的安全?

无论哪种方式 – 你不应该遇到任何性能问题,因为所有现代的网卡内置卸载。我实际上猜测,双网卡的性能会更好,因为你得到不同的中断和单独的PCIe通道。