NFS v3与v4

我想知道为什么NFS v4会比NFS v3快得多，如果v3上有任何参数可以调整。

我挂载一个文件系统

sudo mount -o 'rw,bg,hard,nointr,rsize=1048576,wsize=1048576,vers=4' toto:/test /test 

然后运行

  dd if=/test/file of=/dev/null bs=1024k 

我可以读取200-400MB / s，但是当我更改版本为vers=3 ，重新安装并重新运行dd，我只能获得90MB / s 。 我正在读取的文件是NFS服务器上的内存文件。 连接的两端都是Solaris，并具有10GbE NIC。 我通过在所有testing之间重新安装来避免任何客户端caching。 我使用dtrace在服务器上查看数据通过NFS服务的速度。 对于v3和v4我改变了：

• 调整NFS以获得最小延迟
• NFS存储VMware磁盘映像的最佳文件系统select
• CentOS 6 + LDAP + NFS。 文件所有权被卡在“无人”
• 如何设置cachingnetworking共享的NFS服务器？
• NFS如何在Debian上读caching？

  nfs4_bsize nfs3_bsize 

从默认的32K到1M（在V4上，我用32K的最高速度为150MB /秒）我试过调整

• nfs3_max_threads
• clnt_max_conns
• nfs3_async_clusters

提高V3的性能，但没有去。

在v3上，如果我运行四个并行dd ，吞吐量从90MB / s下降到70-80MB，这导致我认为问题是一些共享资源，如果是的话，那么我想知道它是什么，如果我可以增加那个资源。

dtrace代码获取窗口大小：

 #!/usr/sbin/dtrace -s #pragma D option quiet #pragma D option defaultargs inline string ADDR=$$1; dtrace:::BEGIN { TITLE = 10; title = 0; printf("starting up ...\n"); self->start = 0; } tcp:::send, tcp:::receive / self->start == 0 / { walltime[args[1]->cs_cid]= timestamp; self->start = 1; } tcp:::send, tcp:::receive / title == 0 && ( ADDR == NULL || args[3]->tcps_raddr == ADDR ) / { printf("%4s %15s %6s %6s %6s %8s %8s %8s %8s %8s %8s %8s %8s %8s %8s\n", "cid", "ip", "usend" , "urecd" , "delta" , "send" , "recd" , "ssz" , "sscal" , "rsz", "rscal", "congw", "conthr", "flags", "retran" ); title = TITLE ; } tcp:::send / ( ADDR == NULL || args[3]->tcps_raddr == ADDR ) / { nfs[args[1]->cs_cid]=1; /* this is an NFS thread */ this->delta= timestamp-walltime[args[1]->cs_cid]; walltime[args[1]->cs_cid]=timestamp; this->flags=""; this->flags= strjoin((( args[4]->tcp_flags & TH_FIN ) ? "FIN|" : ""),this->flags); this->flags= strjoin((( args[4]->tcp_flags & TH_SYN ) ? "SYN|" : ""),this->flags); this->flags= strjoin((( args[4]->tcp_flags & TH_RST ) ? "RST|" : ""),this->flags); this->flags= strjoin((( args[4]->tcp_flags & TH_PUSH ) ? "PUSH|" : ""),this->flags); this->flags= strjoin((( args[4]->tcp_flags & TH_ACK ) ? "ACK|" : ""),this->flags); this->flags= strjoin((( args[4]->tcp_flags & TH_URG ) ? "URG|" : ""),this->flags); this->flags= strjoin((( args[4]->tcp_flags & TH_ECE ) ? "ECE|" : ""),this->flags); this->flags= strjoin((( args[4]->tcp_flags & TH_CWR ) ? "CWR|" : ""),this->flags); this->flags= strjoin((( args[4]->tcp_flags == 0 ) ? "null " : ""),this->flags); printf("%5d %14s %6d %6d %6d %8d \ %-8s %8d %6d %8d %8d %8d %12d %s %d \n", args[1]->cs_cid%1000, args[3]->tcps_raddr , args[3]->tcps_snxt - args[3]->tcps_suna , args[3]->tcps_rnxt - args[3]->tcps_rack, this->delta/1000, args[2]->ip_plength - args[4]->tcp_offset, "", args[3]->tcps_swnd, args[3]->tcps_snd_ws, args[3]->tcps_rwnd, args[3]->tcps_rcv_ws, args[3]->tcps_cwnd, args[3]->tcps_cwnd_ssthresh, this->flags, args[3]->tcps_retransmit ); this->flags=0; title--; this->delta=0; } tcp:::receive / nfs[args[1]->cs_cid] && ( ADDR == NULL || args[3]->tcps_raddr == ADDR ) / { this->delta= timestamp-walltime[args[1]->cs_cid]; walltime[args[1]->cs_cid]=timestamp; this->flags=""; this->flags= strjoin((( args[4]->tcp_flags & TH_FIN ) ? "FIN|" : ""),this->flags); this->flags= strjoin((( args[4]->tcp_flags & TH_SYN ) ? "SYN|" : ""),this->flags); this->flags= strjoin((( args[4]->tcp_flags & TH_RST ) ? "RST|" : ""),this->flags); this->flags= strjoin((( args[4]->tcp_flags & TH_PUSH ) ? "PUSH|" : ""),this->flags); this->flags= strjoin((( args[4]->tcp_flags & TH_ACK ) ? "ACK|" : ""),this->flags); this->flags= strjoin((( args[4]->tcp_flags & TH_URG ) ? "URG|" : ""),this->flags); this->flags= strjoin((( args[4]->tcp_flags & TH_ECE ) ? "ECE|" : ""),this->flags); this->flags= strjoin((( args[4]->tcp_flags & TH_CWR ) ? "CWR|" : ""),this->flags); this->flags= strjoin((( args[4]->tcp_flags == 0 ) ? "null " : ""),this->flags); printf("%5d %14s %6d %6d %6d %8s / %-8d %8d %6d %8d %8d %8d %12d %s %d \n", args[1]->cs_cid%1000, args[3]->tcps_raddr , args[3]->tcps_snxt - args[3]->tcps_suna , args[3]->tcps_rnxt - args[3]->tcps_rack, this->delta/1000, "", args[2]->ip_plength - args[4]->tcp_offset, args[3]->tcps_swnd, args[3]->tcps_snd_ws, args[3]->tcps_rwnd, args[3]->tcps_rcv_ws, args[3]->tcps_cwnd, args[3]->tcps_cwnd_ssthresh, this->flags, args[3]->tcps_retransmit ); this->flags=0; title--; this->delta=0; } 

输出看起来像（不是从这个特定的情况）：

 cid ip usend urecd delta send recd ssz sscal rsz rscal congw conthr flags retran 320 192.168.100.186 240 0 272 240 \ 49232 0 1049800 5 1049800 2896 ACK|PUSH| 0 320 192.168.100.186 240 0 196 / 68 49232 0 1049800 5 1049800 2896 ACK|PUSH| 0 320 192.168.100.186 0 0 27445 0 \ 49232 0 1049800 5 1049800 2896 ACK| 0 24 192.168.100.177 0 0 255562 / 52 64060 0 64240 0 91980 2920 ACK|PUSH| 0 24 192.168.100.177 52 0 301 52 \ 64060 0 64240 0 91980 2920 ACK|PUSH| 0 

一些标题

 usend - unacknowledged send bytes urecd - unacknowledged received bytes ssz - send window rsz - receive window congw - congestion window 

计划在v3和v4上使用snoop的dd和比较。 已经做到了，但是stream量太大，我使用了磁盘文件而不是caching文件，这使得比较时间变得毫无意义。 将使用caching的数据运行其他snoop，并且在各个框之间没有其他stream量。 TBD

此外，networking人士说，连接上没有stream量整形或带宽限制器。