我们在新的FCoE环境中获得了一些有趣的performance，我希望人们可以让我知道我们看到的是预期的行为。
我们的交换环境由2台Cisco Nexus 5672交换机组成，每台交换机都挂有一台Nexus 2348 UPQ FEX。 在FEX上，我们有我们的ESX主机（Dell R630）和Emulex CNA。 我们的SAN是一个EMC VNX 5300，其中包含一个10g FCoE卡。
无论SAN连接到2348还是5672，ESX主机上的虚拟机的写入性能都保持不变。 但是，阅读性能变化很大。 当SAN连接到5672时，我们平均4k读取的响应时间大约是0.25ms。 但是，将SAN连接到2348会导致读取响应时间跳到〜2.5ms。 查看ESXTOP中的统计信息，所有额外的响应时间都来自QAVG。
我知道FEX没有本地交换，因此要求所有的数据包stream过5672交换机，但是这个额外的2ms的延迟似乎特别高（特别是考虑到我可以在<0.02ms之间的服务器之间ping）。 我见过的所有参考体系结构都将SAN / SAN交换结构直接连接到“核心”Nexus交换机，但是我没有在哪里读过任何理由。 我不反对以这种方式连接SAN，我只是想明白为什么。
长话短说：这种performance差距是否正常？