Debian上的NFS性能问题

我在两台机器之间的NFS性能非常不一致，我似乎无法完成。

build立：

机器1'video1'：双5506瓦/ 12GB RAM，8x3TB RAID6上的XFS从'/ mnt / storage'导出为'video1'

机器2'storage1'：Phenom X2 @ 3.2Ghtz w / 8GB ram，5x2TB上的ZFS从/ mnt / storage1-storage导出为'storage1'

• 使用tc在Linux下限制接口带宽
• 一次写入，使用Linux文件系统读取多个（WORM）
• 4K扇区磁盘上ZFS RAIDZ2的开销是多less？
• 无法删除Linux目录 – 无限recursion
• 安装非标准文件系统的位置

本地写入性能：

mackek2@video1:/mnt/storage/testing$ dd if=/dev/zero of=localwrite10GB bs=5000k count=2000 2000+0 records in 2000+0 records out 10240000000 bytes (10 GB) copied, 16.7657 s, 611 MB/s 

本地阅读performance：

两者都连接到相同的HP千兆交换机，iperf提供坚如磐石的940mbps两种方式。

我的问题是，当我从storage1写入video1导出时，性能已经遍布全球。 这似乎是前几个（5-7）的文件传输演出（我希望尽可能快地移动30-120GB的AVCHD或MJPEG文件），性能从900mbps，下降到150-180mbps，所以时间慢30mbps。 如果我重新启动NFS内核服务器，性能会再次提高。

 mackek2@storage1:/mnt/video1/testing$ dd if=/dev/zero of=remoteWrite10GB count=2000 bs=5000K 2000+0 records in 2000+0 records out 10240000000 bytes (10 GB) copied, 223.794 s, 45.8 MB/s mackek2@storage1:/mnt/video1/testing$ dd if=/dev/zero of=remoteWrite10GBTest2 count=2000 bs=5000K 2000+0 records in 2000+0 records out 10240000000 bytes (10 GB) copied, 198.462 s, 51.6 MB/s mackek2@storage1:/mnt/video1/testing$ dd if=/dev/zero of=bigfile776 count=7000 bs=2000K 7000+0 records in 7000+0 records out 14336000000 bytes (14 GB) copied, 683.78 s, 21.0 MB/s mackek2@storage1:/mnt/video1/testing$ dd if=/dev/zero of=remoteWrite15GB count=3000 bs=5000K 3000+0 records in 3000+0 records out 15360000000 bytes (15 GB) copied, 521.834 s, 29.4 MB/s 

当事情进展得很快时，客户端上的nfsiostat会给出几个毫秒的平均RTT，但是一旦性能下降，RTT就会快速上升到1.5秒以上。 另外，写队列时，CPU队列深度跳跃到8以上。

现在，从相同的出口阅读时，我得到了美丽的890Mbps给整个阅读或几个mbps。

 mackek2@storage1:/mnt/video1/testing$ dd if=remoteWrite10GBTest2 of=/dev/null 20000000+0 records in 20000000+0 records out 10240000000 bytes (10 GB) copied, 89.82 s, 114 MB/s mackek2@storage1:/mnt/video1/testing$ dd if=remoteWrite15GB of=/dev/null 30000000+0 records in 30000000+0 records out 15360000000 bytes (15 GB) copied, 138.94 s, 111 MB/s 

另一种方式是使用storage1作为NFS服务器。 CPU队列跳起来，速度下降，我拉我的头发。

我已经尝试将NFS守护进程的数量增加到多达64个，并且在几个演出之后仍然会出来。