文件服务器对部分群集不可用

我正在运行一个运行Centos 6.8的Rock 6.2集群。 主要由头节点，计算节点和文件服务器组成。 它们通过10Gb本地交换机连接，也连接在数据中心1Gb交换机上（计算节点只在本地交换机上，并使用头节点作为数据中心交换机的网关）。 所以，你可以想象我通过本地交换机挂载我的文件服务器。

我最近添加了一个新的卷到我的一个文件服务器（cslim），重新启动并做了一些改动，以便通过NFSv4正确显示文件所有权（对/etc/idmapd.conf和/ etc / default / nfs-common进行了更改已成功完成所有其他服务器）。

两个导出的卷正确地安装到头节点和我在集群中尝试的其他几个服务器上。 但是我无法让计算节点在本地交换机上安装卷。 我刚刚mount.nfs: Connection timed out 。 通过数据中心交换机安装到计算节点上工作。

我不能确定服务器是否先前安装到计算节点上，因为直到最近，这个服务器上的唯一卷是用于通过头节点处理的归档文件和pipe理文件。

• 在resent更新之后，nfs服务器在fedora 25上不再启动了
• NFSv4服务器绑定导出
• mkdir在/ mnt中被拒绝
• rw NFS共享上拒绝许可
• 尝试挂载NFS文件系统时，“mount：RPC：超时”

此外，计算节点无法通过本地交换机执行ping或ssh到cslim，但头节点和其他服务器可以通过本地交换机执行此操作。 计算节点可以通过数据中心交换机ping和ssh到cslim，以及本地交换机上的其他服务器。 尝试SSH产量ssh: connect to host cslim-local port 22: No route to host 。

计算节点正确地parsing了cslim的本地主机名（cslim-local），并且使用IP地址本身也会失败。

从计算节点到cslim的traceroute超时，如果我正确解释：

 [root@compute-0-0 ~]# traceroute cslim-local traceroute to cslim-local (10.1.1.11), 30 hops max, 60 byte packets 1 compute-0-0.local (10.1.255.254) 3000.757 ms !H 3000.755 ms !H 3000.752 ms !H [root@compute-0-0 ~]# traceroute picsl-local traceroute to picsl-local (10.1.1.16), 30 hops max, 60 byte packets 1 picsl-local.local (10.1.1.16) 0.212 ms 0.209 ms 0.204 ms 

我禁用了cslim的防火墙，但无济于事。 我重新启动了cslim，重新启动了nfs和rpcidmapd服务。 cslim正在导出到位于10.1.0.0/255.255.0.0的计算节点：

 [root@cslim ~]# exportfs <snip> /mnt/data/archive 10.1.0.0/255.255.0.0 /mnt/data-jux 10.1.0.0/255.255.0.0 

安装失败时，cslim或计算节点上的/ var / log / messages或/ var / log / secure中没有任何内容。

有没有人有任何想法？

更新：

traceroute超时，“主机无法访问”：

 [root@compute-0-0 ~]# traceroute cslim-local traceroute to cslim-local (10.1.1.11), 30 hops max, 60 byte packets 1 compute-0-0.local (10.1.255.254) 3000.757 ms !H 3000.755 ms !H 3000.752 ms !H 

这显示了另一台服务器在同一交换机上可达：

 [root@compute-0-0 ~]# traceroute picsl-local traceroute to picsl-local (10.1.1.16), 30 hops max, 60 byte packets 1 picsl-local.local (10.1.1.16) 0.212 ms 0.209 ms 0.204 ms 

SELinux被设置为在cslim上执行。 设置为宽容没有帮助。

计算节点上的防火墙已经停止，这也没有帮助。

netstat输出

在计算节点上：

 [root@compute-0-0 ~]# netstat -rn Kernel IP routing table Destination Gateway Genmask Flags MSS Window irtt Iface 255.255.255.255 0.0.0.0 255.255.255.255 UH 0 0 0 p1p1 170.212.169.128 10.1.1.1 255.255.255.255 UGH 0 0 0 p1p1 224.0.0.0 0.0.0.0 255.255.255.0 U 0 0 0 p1p1 10.1.0.0 0.0.0.0 255.255.0.0 U 0 0 0 p1p1 169.254.0.0 0.0.0.0 255.255.0.0 U 0 0 0 p1p1 0.0.0.0 10.1.1.1 0.0.0.0 UG 0 0 0 p1p1 

请注意，10.1.1.1是头节点。

在cslim上：

 [root@cslim ~]# netstat -rn Kernel IP routing table Destination Gateway Genmask Flags MSS Window irtt Iface 170.212.169.0 0.0.0.0 255.255.255.0 U 0 0 0 eth0 10.1.1.0 0.0.0.0 255.255.255.0 U 0 0 0 bond0 169.254.0.0 0.0.0.0 255.255.0.0 U 0 0 0 eth0 169.254.0.0 0.0.0.0 255.255.0.0 U 0 0 0 bond0 0.0.0.0 170.212.169.2 0.0.0.0 UG 0 0 0 eth0 

在picsl上（picsl-local在traceroutetesting中显示，这个服务器可以通过本地交换机挂载cslim卷）：

 [root@picsl-cluster ~]# netstat -rn Kernel IP routing table Destination Gateway Genmask Flags MSS Window irtt Iface 170.212.169.225 10.1.1.1 255.255.255.255 UGH 0 0 0 eth0 170.212.169.0 0.0.0.0 255.255.255.0 U 0 0 0 em1 192.168.122.0 0.0.0.0 255.255.255.0 U 0 0 0 virbr0 10.1.0.0 0.0.0.0 255.255.0.0 U 0 0 0 eth0 169.254.0.0 0.0.0.0 255.255.0.0 U 0 0 0 eth0 169.254.0.0 0.0.0.0 255.255.0.0 U 0 0 0 em1 0.0.0.0 170.212.169.2 0.0.0.0 UG 0 0 0 em1 

使用ifconfig

在计算节点上：

 [root@compute-0-0 ~]# ifconfig -a em1 Link encap:Ethernet HWaddr 90:B1:1C:28:D8:27 BROADCAST MULTICAST MTU:1500 Metric:1 RX packets:0 errors:0 dropped:0 overruns:0 frame:0 TX packets:0 errors:0 dropped:0 overruns:0 carrier:0 collisions:0 txqueuelen:1000 RX bytes:0 (0.0 b) TX bytes:0 (0.0 b) Interrupt:16 em2 Link encap:Ethernet HWaddr 90:B1:1C:28:D8:28 BROADCAST MULTICAST MTU:1500 Metric:1 RX packets:0 errors:0 dropped:0 overruns:0 frame:0 TX packets:0 errors:0 dropped:0 overruns:0 carrier:0 collisions:0 txqueuelen:1000 RX bytes:0 (0.0 b) TX bytes:0 (0.0 b) Interrupt:17 lo Link encap:Local Loopback inet addr:127.0.0.1 Mask:255.0.0.0 inet6 addr: ::1/128 Scope:Host UP LOOPBACK RUNNING MTU:65536 Metric:1 RX packets:360953790 errors:0 dropped:0 overruns:0 frame:0 TX packets:360953790 errors:0 dropped:0 overruns:0 carrier:0 collisions:0 txqueuelen:0 RX bytes:1108715304547 (1.0 TiB) TX bytes:1108715304547 (1.0 TiB) p1p1 Link encap:Ethernet HWaddr 00:10:18:F0:31:A0 inet addr:10.1.255.254 Bcast:10.1.255.255 Mask:255.255.0.0 inet6 addr: fe80::210:18ff:fef0:31a0/64 Scope:Link UP BROADCAST RUNNING MULTICAST MTU:1500 Metric:1 RX packets:1654711736 errors:0 dropped:0 overruns:0 frame:0 TX packets:2560600760 errors:0 dropped:0 overruns:0 carrier:0 collisions:0 txqueuelen:1000 RX bytes:2054533957261 (1.8 TiB) TX bytes:3252638973302 (2.9 TiB) Interrupt:80 Memory:d0000000-d07fffff p1p2 Link encap:Ethernet HWaddr 00:10:18:F0:31:A2 BROADCAST MULTICAST MTU:1500 Metric:1 RX packets:0 errors:0 dropped:0 overruns:0 frame:0 TX packets:0 errors:0 dropped:0 overruns:0 carrier:0 collisions:0 txqueuelen:1000 RX bytes:0 (0.0 b) TX bytes:0 (0.0 b) Interrupt:84 Memory:d1000000-d17fffff 

在cslim上：

 [root@cslim ~]# ifconfig -a bond0 Link encap:Ethernet HWaddr 00:21:28:3D:6D:03 inet addr:10.1.1.11 Bcast:10.1.1.255 Mask:255.255.255.0 inet6 addr: fe80::221:28ff:fe3d:6d03/64 Scope:Link UP BROADCAST RUNNING MASTER MULTICAST MTU:1500 Metric:1 RX packets:351143643 errors:0 dropped:0 overruns:0 frame:0 TX packets:22812517 errors:0 dropped:0 overruns:0 carrier:0 collisions:0 txqueuelen:0 RX bytes:495999344326 (461.9 GiB) TX bytes:1721189388 (1.6 GiB) eth0 Link encap:Ethernet HWaddr 00:21:28:3D:6D:02 inet addr:170.212.169.151 Bcast:170.212.169.255 Mask:255.255.255.0 inet6 addr: fe80::221:28ff:fe3d:6d02/64 Scope:Link UP BROADCAST RUNNING MULTICAST MTU:1500 Metric:1 RX packets:22690383 errors:1152 dropped:0 overruns:1150 frame:2 TX packets:2716530 errors:0 dropped:0 overruns:0 carrier:0 collisions:0 txqueuelen:1000 RX bytes:33135278971 (30.8 GiB) TX bytes:227883477 (217.3 MiB) eth1 Link encap:Ethernet HWaddr 00:21:28:3D:6D:03 inet6 addr: fe80::221:28ff:fe3d:6d03/64 Scope:Link UP BROADCAST RUNNING SLAVE MULTICAST MTU:1500 Metric:1 RX packets:2766456 errors:0 dropped:0 overruns:0 frame:0 TX packets:22803974 errors:0 dropped:0 overruns:0 carrier:0 collisions:0 txqueuelen:1000 RX bytes:380681543 (363.0 MiB) TX bytes:1720423086 (1.6 GiB) eth2 Link encap:Ethernet HWaddr 00:21:28:3D:6D:04 inet6 addr: fe80::221:28ff:fe3d:6d03/64 Scope:Link UP BROADCAST RUNNING SLAVE MULTICAST MTU:1500 Metric:1 RX packets:345621248 errors:444 dropped:0 overruns:444 frame:0 TX packets:8492 errors:0 dropped:0 overruns:0 carrier:0 collisions:0 txqueuelen:1000 RX bytes:495244880097 (461.2 GiB) TX bytes:757968 (740.2 KiB) eth3 Link encap:Ethernet HWaddr 00:21:28:3D:6D:05 inet6 addr: fe80::221:28ff:fe3d:6d03/64 Scope:Link UP BROADCAST RUNNING SLAVE MULTICAST MTU:1500 Metric:1 RX packets:2755939 errors:444 dropped:0 overruns:444 frame:0 TX packets:51 errors:0 dropped:0 overruns:0 carrier:0 collisions:0 txqueuelen:1000 RX bytes:373782686 (356.4 MiB) TX bytes:8334 (8.1 KiB) lo Link encap:Local Loopback inet addr:127.0.0.1 Mask:255.0.0.0 inet6 addr: ::1/128 Scope:Host UP LOOPBACK RUNNING MTU:65536 Metric:1 RX packets:3512 errors:0 dropped:0 overruns:0 frame:0 TX packets:3512 errors:0 dropped:0 overruns:0 carrier:0 collisions:0 txqueuelen:0 RX bytes:517649 (505.5 KiB) TX bytes:517649 (505.5 KiB) 

 | machine | IP | netmask | cidr | |-------------|--------------|---------------|------| | compute-0-0 | 10.1.255.254 | 255.255.0.0 | /16 | | picsl | 10.1.1.16 | 255.255.0.0 | /16 | | cslim | 10.1.1.11 | 255.255.255.0 | /24 |