vSphere ESX 5.5主机无法连接到NFS服务器

简介:我的问题是我无法使用QNAP NFS服务器作为来自ESX主机的NFS数据存储,尽pipe主机能够ping通它。 我正在利用带有LACP上行链路的vDS来pipe理所有networkingstream量(包括NFS)和每个vmkernel适配器的子网。

设置:我正在评估vSphere,并且我有两台vSphere ESX 5.5主机(node1和node2),每台主机都有4个NIC。 我已经使用LACP / 802.3ad与我的交换机合作,然后在两台主机之间创build一个分布式交换机,每台主机的LAG作为上行链路。 我所有的networking都是通过分布式交换机,理想情况下,我想利用DRS和冗余。 我有一个在node1(使用node1的本地数据存储)上运行的域控制器VM(“Central”)和vCenter VM(“vCenter”),两台主机都连接到vCenter实例。 这两台主机都位于vCenter数据中心内,HA和DRS当前处于禁用状态。 我有一个

QNAP TS-669 Pro(版本4.0.3)(TS-x69系列在VMware Storage HCL上)我​​想用作NFS数据存储的NFS服务器,它使用802.3ad与我的交换机一起使用2个NIC组合在一起。

vmkernel.log:主机的vmkernel.log中的错误不是很有用:

NFS: 157: Command: (mount) Server: (10.1.2.100) IP: (10.1.2.100) Path: (/VM) Label (datastoreNAS) Options: (None) cpu9:67402)StorageApdHandler: 698: APD Handle 509bc29f-13556457 Created with lock[StorageApd0x411121] cpu10:67402)StorageApdHandler: 745: Freeing APD Handle [509bc29f-13556457] cpu10:67402)StorageApdHandler: 808: APD Handle freed! cpu10:67402)NFS: 168: NFS mount 10.1.2.100:/VM failed: Unable to connect to NFS server. 

networking设置:这是我的分布式开关设置(JPG)。 这是我的networking。

  • 10.1.1.0/24虚拟机pipe理(VLAN 11)
  • 10.1.2.0/24存储networking(NFS,VLAN 12)
  • 10.1.3.0/24 VM vMotion(VLAN 13)
  • 10.1.4.0/24虚拟机容错(VLAN 14)
  • 10.2.0.0/24虚拟机networking(VLAN 20)

vSphere地址

  • 10.1.1.1 node1pipe理
  • 10.1.1.2 node2pipe理
  • 10.1.2.1 node1 vmkernel(对于NFS)
  • 10.1.2.2 node2 vmkernel(对于NFS)
  • 等等

其他地址

  • QNAP TS-669(NFS服务器)
  • 10.2.0.1域控制器(节点1上的VM)
  • 10.2.0.2 vCenter(节点1上的VM)

我正在使用Cisco SRW2024P Layer-2交换机(Jumboframes启用)与以下设置:

  • 节点1(端口1到4)的LACP LAG1设置为VLAN 11-14,20的VLAN中继
  • 我的路由器(端口5到8)的LACP LAG2设置为VLAN 11-14,20的VLAN中继
  • 节点2的LACP LAG3(端口9到12)设置为VLAN 11-14,20的VLAN中继
  • QNAP的LACP LAG4(端口23和24)设置为将未标记的stream量接收到VLAN 12中

每个子网都可路由到另一个子网,尽pipe从vmk1到NFS服务器的连接不需要它。 所有其他stream量(vSphere Web Client,RDP等)都经过这个设置。 我事先testing了QNAP NFS服务器,使用ESX主机虚拟机在具有专用物理网卡的VMware Workstation设置之上,没有问题。

NFS服务器共享上的ACL是宽容的,并允许所有子网范围完全访问共享。

我可以从node1 vmk1(应该用于NFS的适配器) ping QNAP

 ~ # vmkping -I vmk1 10.1.2.100 PING 10.1.2.100 (10.1.2.100): 56 data bytes 64 bytes from 10.1.2.100: icmp_seq=0 ttl=64 time=0.371 ms 64 bytes from 10.1.2.100: icmp_seq=1 ttl=64 time=0.161 ms 64 bytes from 10.1.2.100: icmp_seq=2 ttl=64 time=0.241 ms 

Netcat不会抛出一个错误:

 ~ # nc -z 10.1.2.100 2049 Connection to 10.1.2.100 2049 port [tcp/nfs] succeeded! 

node1的路由表

 ~ # esxcfg-route -l VMkernel Routes: Network Netmask Gateway Interface 10.1.1.0 255.255.255.0 Local Subnet vmk0 10.1.2.0 255.255.255.0 Local Subnet vmk1 10.1.3.0 255.255.255.0 Local Subnet vmk2 10.1.4.0 255.255.255.0 Local Subnet vmk3 default 0.0.0.0 10.1.1.254 vmk0 

VM内核NIC信息

 ~ # esxcfg-vmknic -l Interface Port Group/DVPort IP Family IP Address Netmask Broadcast MAC Address MTU TSO MSS Enabled Type vmk0 133 IPv4 10.1.1.1 255.255.255.0 10.1.1.255 00:50:56:66:8e:5f 1500 65535 true STATIC vmk0 133 IPv6 fe80::250:56ff:fe66:8e5f 64 00:50:56:66:8e:5f 1500 65535 true STATIC, PREFERRED vmk1 164 IPv4 10.1.2.1 255.255.255.0 10.1.2.255 00:50:56:68:f5:1f 1500 65535 true STATIC vmk1 164 IPv6 fe80::250:56ff:fe68:f51f 64 00:50:56:68:f5:1f 1500 65535 true STATIC, PREFERRED vmk2 196 IPv4 10.1.3.1 255.255.255.0 10.1.3.255 00:50:56:66:18:95 1500 65535 true STATIC vmk2 196 IPv6 fe80::250:56ff:fe66:1895 64 00:50:56:66:18:95 1500 65535 true STATIC, PREFERRED vmk3 228 IPv4 10.1.4.1 255.255.255.0 10.1.4.255 00:50:56:72:e6:ca 1500 65535 true STATIC vmk3 228 IPv6 fe80::250:56ff:fe72:e6ca 64 00:50:56:72:e6:ca 1500 65535 true STATIC, PREFERRED 

我试过/检查过的东西:

  • 我没有使用DNS名称来连接到NFS服务器。
  • 选中MTU。 对于vmk1,dvSwitch和Cisco交换机以及QNAP,设置为9000。
  • 将QNAP移到了VLAN 11(VM Management,vmk0)并给了一个合适的地址,仍然有同样的问题。 当然后来改回来了。
  • 尝试从vSphere Client(连接到vCenter或直接连接到主机),vSphere Web Client和主机的ESX Shell启动NAS数据存储的连接。 所有导致了同样的问题。
  • 尝试了一个path名称“VM”,“/ VM”和“/ share / VM”,尽pipe甚至没有连接到服务器。
  • 我插入一个Linux系统(10.1.2.123)到为VLAN 12configuration的交换机端口,并尝试挂载NFS共享10.1.2.100:/VM,它工作成功,我有读写访问
  • 我试过禁用ESX主机esxcli network firewall set --enabled false

我不知道下一步该怎么做。 我所做的与VMware Workstation设置不同的是使用LACP和两台主机之间的物理交换机和虚拟分布式交换机。 我猜vDS可能是我的麻烦来源,但我不知道如何解决这个问题,而不是消除它。

嗯… vDS,NFS和LACP对我很好。 不过,看起来你正在深入研究一系列高端的vSpherefunction。 大多数安装并不需要LACP,但我可以理解尝试使用它的吸引力。

如果QNAP不允许安装,那么vDS和其他function都不重要。

  • 你已经validation了与vmkping连接,但是应该用巨型MTU来testing它: vmkping -s 9000 10.1.2.100 (不需要指定接口)。 确保工作。
  • 我现在完全禁用QNAP ACL。
  • 你的装载path名应该是ip.address:/share/VM/
  • 尝试再次挂载,但请注意ESXi主机上的/var/log/vobd.log的消息。 如果说“ 挂载请求被NFS服务器拒绝 ”,则问题是QNAP。
  • 我很抱歉,但我们错过了您的物理开关types/型号和configuration…你能描述一下吗? 您应该在相关端口上configurationTrunk VLAN + LACPconfiguration。

您的vDSconfiguration截图看起来像是一个主机的信息价值。 validation您的configuration是否具有LACP并设置了正确的负载平衡模式。 它应该如下所示:

在这里输入图像说明

在这里输入图像说明

与TS-420U和ESXi 5.5 U1有同样的问题。 我的设置: – 两台ESXi 5.5(含vCenter服务器) – 直接连接存储 – 与ESXi主机位于同一子网的QNAP TS-420U NAS(不存在路由问题) – 全部位于子网10.207.253.128/26

configurationNAS之后,我将ACL设置到相应的子网(10.207.253。*)并且连接没有问题。 但是在重新启动ESXi主机之后,不再有任何连接,像您一样的错误。 NAS重新启动并closuresNFS服务没有帮助。 我最后一件事就是在NAS服务器上设置ACL,使其再次运行。 两台ESXi主机都可以正常连接到NFS共享。

现在我只需要知道,为什么ESXi主机无法连接到设置为子网的ACL …

不幸的是,ESXi不包含诊断命令rpcinfoshowmount 。 NFS默认使用UDP。 为了执行挂载,系统必须能够与NFS服务器上的rpc portmapper交互(tcp / udp端口111)。它为mountdnfs服务提供端口。 在任何其他系统上,我会使用rpcinfo -p <ip>确保portmap正在工作,并使用showmount -e <ip>来查看正在导出的内容。

另外,与vMotion,FT日志logging和iSCSI不同,NFS不会locking到特定的vmk。 它将使用任何可用的接口。 由于您在与NFS服务器相同的子网中有一个接口,因此应该使用该接口。

如果NAS上有日志,请在那里查找任何线索。 否则,退回到一个单一的链接和监测交通可能是你唯一的办法。 (那个交换机做端口镜像吗?)

我放弃。

我从上行链路中删除了LACP,并使用多path(每个上行链路端口组和关联的vmk,仅针对SAN)切换到iSCSI。

我想这与NFS4有关。 ESX似乎只支持NSF3,否则将无法正常工作。

我和我的configuration有类似的问题,您可能会感到惊讶,但是为QNAP的/ etc / hosts(IP主机名主机名)文件中的每个esx主机添加一个条目解决了我的问题。

希望这可以帮助。