KVM节点上的磁盘性能非常差 – mdadm raid10

长期以来，我在用于KVM虚拟化的CentOS服务器上遇到性能问题。

我正在运行带有4个磁盘（ Seagate ST2000DM001, 2TB, 7200rpm SATA-600 ）的软件RAID-10 。这些KVM虚拟机正在运行自己的LV。

一旦安装了一些虚拟机，每增加一台虚拟机，性能就会下降。

现在，安装Debian 7 minimal需要大约3个小时。 在没有虚拟机的空盒子上，这个过程最多只需要几分钟。

• 在小网站上MySQL高CPU使用率
• 邮件服务器存储后端：文件系统VS数据库
• Mysql崩溃，OOM杀手，内存不足，调优问题？
• 我的磁盘失败，并在Linux上造成高负载？
• SQL Azure插入查询比V11慢十倍？

奇怪的是，即使有37个虚拟机，也几乎没有磁盘I / O。 但是那个时候需要做的每一个I / O，都会把关于那个特定LV容量的"dm"设备带到100％。

出于某种原因，它看起来像"dm-xx"设备不能使用所有的磁盘。

下面是我的意思的一个例子。 在这个问题中， sd[a/b/c/d]通常是40％到60％的负载，但是一个或多个dm设备负载很高，没有任何严重的I / O。

请注意，虚拟机正在使用的特定dm-0的%util 。

 Device: rrqm/s wrqm/sr/sw/s rkB/s wkB/s avgrq-sz avgqu-sz await svctm %util sdb 10.00 0.00 5.00 36.00 256.00 424.00 33.17 0.86 20.73 11.02 45.20 sdd 0.00 1.00 0.00 48.00 0.00 389.00 16.21 0.85 17.71 10.90 52.30 sda 0.00 0.00 2.00 39.00 32.00 161.00 9.41 0.77 18.63 11.44 46.90 sdc 0.00 1.00 0.00 50.00 0.00 764.00 30.56 1.59 47.08 13.90 69.50 md1 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 md2 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 md0 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 md3 0.00 0.00 18.00 68.00 288.00 813.00 25.60 0.00 0.00 0.00 0.00 dm-0 0.00 0.00 0.00 6.00 0.00 40.00 13.33 0.31 51.50 51.17 30.70 dm-1 0.00 0.00 0.00 7.00 0.00 72.00 20.57 0.74 49.43 99.14 69.40 dm-2 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 dm-3 0.00 0.00 16.00 0.00 256.00 0.00 32.00 0.96 59.69 8.38 13.40 dm-4 0.00 0.00 0.00 8.00 0.00 68.00 17.00 0.28 34.62 31.25 25.00 dm-5 0.00 0.00 0.00 4.00 0.00 156.00 78.00 0.05 12.00 12.00 4.80 dm-6 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 dm-7 0.00 0.00 0.00 4.00 0.00 20.00 10.00 0.08 19.00 6.75 2.70 dm-8 0.00 0.00 0.00 3.00 0.00 4.00 2.67 0.54 258.33 154.00 46.20 dm-9 0.00 0.00 0.00 5.00 0.00 148.00 59.20 0.10 19.40 19.40 9.70 dm-10 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 dm-11 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 dm-12 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 dm-13 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 dm-14 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 dm-15 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 dm-16 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 dm-17 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 dm-18 0.00 0.00 2.00 0.00 32.00 0.00 32.00 0.03 12.50 6.50 1.30 dm-19 0.00 0.00 0.00 2.00 0.00 12.00 12.00 0.03 13.00 6.50 1.30 dm-20 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 dm-21 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 dm-22 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 dm-23 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 dm-24 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 dm-25 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 dm-26 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 dm-27 0.00 0.00 0.00 1.00 0.00 0.00 0.00 0.11 294.00 110.00 11.00 dm-28 0.00 0.00 0.00 3.00 0.00 16.00 10.67 0.10 50.33 25.00 7.50 dm-29 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 dm-30 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 dm-31 0.00 0.00 0.00 4.00 0.00 12.00 6.00 0.56 140.25 140.25 56.10 dm-32 0.00 0.00 0.00 6.00 0.00 32.00 10.67 0.76 125.83 125.83 75.50 dm-33 0.00 0.00 0.00 4.00 0.00 12.00 6.00 0.21 53.00 53.00 21.20 dm-34 0.00 0.00 0.00 3.00 0.00 4.00 2.67 0.40 172.33 133.33 40.00 dm-35 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 dm-36 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 dm-37 0.00 0.00 0.00 9.00 0.00 217.00 48.22 1.09 135.33 111.00 99.90 ================================= Device: rrqm/s wrqm/sr/sw/s rkB/s wkB/s avgrq-sz avgqu-sz await svctm %util sdb 0.00 0.00 0.00 7.00 0.00 72.00 20.57 3.84 430.14 126.00 88.20 sdd 10.00 0.00 4.00 13.00 240.00 304.00 64.00 2.07 126.59 33.00 56.10 sda 0.00 1.00 1.00 11.00 16.00 320.00 56.00 0.25 20.42 8.83 10.60 sdc 0.00 0.00 2.00 7.00 32.00 96.00 28.44 0.13 14.89 13.78 12.40 md1 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 md2 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 md0 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 md3 0.00 0.00 18.00 17.00 288.00 416.00 40.23 0.00 0.00 0.00 0.00 dm-0 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 dm-1 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 dm-2 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 dm-3 0.00 0.00 13.00 0.00 208.00 0.00 32.00 3.66 281.85 21.69 28.20 dm-4 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 dm-5 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 dm-6 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 dm-7 0.00 0.00 0.00 5.00 0.00 92.00 36.80 1.84 179.40 189.80 94.90 dm-8 0.00 0.00 0.00 1.00 0.00 4.00 8.00 1.00 655.00 1000.00 100.00 dm-9 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 dm-10 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 dm-11 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 dm-12 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 dm-13 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 dm-14 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 dm-15 0.00 0.00 0.00 1.00 0.00 0.00 0.00 1.44 1512.00 1000.00 100.00 dm-16 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 dm-17 0.00 0.00 0.00 3.00 0.00 16.00 10.67 0.56 6.00 187.67 56.30 dm-18 0.00 0.00 5.00 0.00 80.00 0.00 32.00 0.37 73.40 71.40 35.70 dm-19 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 dm-20 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 dm-21 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 dm-22 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 dm-23 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 dm-24 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 dm-25 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 dm-26 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 dm-27 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.44 0.00 0.00 43.80 dm-28 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 dm-29 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 dm-30 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 dm-31 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 dm-32 0.00 0.00 0.00 1.00 0.00 4.00 8.00 0.00 1.00 1.00 0.10 dm-33 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 dm-34 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 dm-35 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 dm-36 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 dm-37 0.00 0.00 0.00 7.00 0.00 300.00 85.71 2.00 101.00 142.86 100.00 ================================= Device: rrqm/s wrqm/sr/sw/s rkB/s wkB/s avgrq-sz avgqu-sz await svctm %util sdb 1.00 1.00 1.00 47.00 48.00 676.00 30.17 1.47 30.62 11.65 55.90 sdd 1.00 0.00 9.00 88.00 176.00 395.00 11.77 0.83 8.59 5.12 49.70 sda 0.00 0.00 0.00 50.00 0.00 541.50 21.66 0.83 16.54 11.22 56.10 sdc 1.00 0.00 6.00 87.00 112.00 533.50 13.88 0.87 9.42 4.37 40.60 md1 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 md2 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 md0 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 md3 0.00 0.00 21.00 116.00 336.00 991.00 19.37 0.00 0.00 0.00 0.00 dm-0 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 dm-1 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 dm-2 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 dm-3 0.00 0.00 4.00 0.00 64.00 0.00 32.00 0.00 0.00 0.00 0.00 dm-4 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 dm-5 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 dm-6 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 dm-7 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 dm-8 0.00 0.00 0.00 82.00 0.00 848.00 20.68 1.46 17.93 6.29 51.60 dm-9 0.00 0.00 0.00 3.00 0.00 16.00 10.67 0.03 11.33 11.33 3.40 dm-10 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 dm-11 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 dm-12 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 dm-13 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 dm-14 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 dm-15 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 dm-16 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 dm-17 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 dm-18 0.00 0.00 17.00 0.00 272.00 0.00 32.00 0.49 28.59 10.35 17.60 dm-19 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 dm-20 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 dm-21 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 dm-22 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 dm-23 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 dm-24 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 dm-25 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 dm-26 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 dm-27 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 dm-28 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 dm-29 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 dm-30 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 dm-31 0.00 0.00 0.00 5.00 0.00 16.00 6.40 0.13 26.00 26.00 13.00 dm-32 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 dm-33 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 dm-34 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 dm-35 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 dm-36 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 dm-37 0.00 0.00 0.00 27.00 0.00 111.00 8.22 1.15 42.41 37.00 99.90 

另一个例子 ：

导入一个2MB的SQL文件在一个随机的虚拟机上执行这个操作需要15分钟以上的时间。 该LV的I / O速度太快，直到完成。 它只会有几个写入/秒，只有几个KB /秒的I / O。

即使有这些负载，dd的写入速度也在80MB / s到160MB / s左右。 但读取是可怕的，大部分时间不超过10MB /秒。

这就是我的RAID设置。 此框在“o2”布局上运行，但与默认的“n2”布局没有任何区别。

 # cat /proc/mdstat Personalities : [raid10] [raid1] md3 : active raid10 sdb5[4] sdc5[2] sdd5[3] sda5[0] 3872954368 blocks super 1.2 512K chunks 2 offset-copies [4/4] [UUUU] md0 : active raid1 sdb1[4] sdc1[2] sdd1[3] sda1[0] 255988 blocks super 1.0 [4/4] [UUUU] md2 : active raid10 sdb2[1] sdc2[2] sda2[0] sdd2[3] 31454208 blocks super 1.1 512K chunks 2 near-copies [4/4] [UUUU] bitmap: 1/1 pages [4KB], 65536KB chunk md1 : active raid10 sdb3[4] sda3[0] sdc3[2] sdd3[3] 2096128 blocks super 1.1 512K chunks 2 near-copies [4/4] [UUUU] 

这就是每个虚拟机如何对单个磁盘（例如sda）和LV进行分区。 对于4K磁盘应该没问题。

 Disk /dev/sda: 2000.4 GB, 2000398934016 bytes 255 heads, 63 sectors/track, 243201 cylinders, total 3907029168 sectors Units = sectors of 1 * 512 = 512 bytes Sector size (logical/physical): 512 bytes / 4096 bytes I/O size (minimum/optimal): 4096 bytes / 4096 bytes Disk identifier: 0x000648b7 Device Boot Start End Blocks Id System /dev/sda1 * 2048 514047 256000 fd Linux raid autodetect Partition 1 does not end on cylinder boundary. /dev/sda2 514048 31971327 15728640 fd Linux raid autodetect /dev/sda3 31971328 34068479 1048576 fd Linux raid autodetect /dev/sda4 34068480 3907029167 1936480344 5 Extended /dev/sda5 34070528 3907028991 1936479232 fd Linux raid autodetect Disk /dev/mapper/raid10storage-kvm396_img: 75.2 GB, 75161927680 bytes 255 heads, 63 sectors/track, 9137 cylinders, total 146800640 sectors Units = sectors of 1 * 512 = 512 bytes Sector size (logical/physical): 512 bytes / 4096 bytes I/O size (minimum/optimal): 524288 bytes / 2097152 bytes Disk identifier: 0x000a613c Device Boot Start End Blocks Id System /dev/mapper/raid10storage-kvm396_imgp1 * 2048 145752063 72875008 83 Linux /dev/mapper/raid10storage-kvm396_imgp2 145752064 146800639 524288 82 Linux swap / Solaris 

我在所有虚拟机上都使用VirtIO ，caching设置为"none" 。 尝试了不同的caching设置，但导致性能更糟。

我有一些其他服务器运行smapper设置（较less虚拟机），但在RAID-1 （2个磁盘）相同types的磁盘没有任何问题。

这似乎与RAID-10设置有关。

我目前有4个这样的RAID10设备正在使用，并且都有不同的CPU和主板configuration。 但所有这些确实有同样可怕的性能问题。

有没有人有一个想法或理论，可以解释为什么这个设置performance如此糟糕的慢？

现在真的可以这样做了，一年后我还没有find原因，真是令人沮丧…… 🙁

编辑 – 服务器规格和CPU使用率：

所有这些盒子都有不同的CPU，但是这里有一些configuration：

• 至强E3-1240v2,32GB DDR3 ECC，SuperMicro X9SCM-F
• 英特尔酷睿i7 2600,32GB DDR3，英特尔DQ67OW
• 英特尔酷睿i7 3820,32GB DDR3，英特尔DX79TO

这里有一个top的输出，有一个LV @ 100％util和一些其他的弹跳在30％到60％之间。

目前负载平均值相当低，但在10.00至30.00之间看到它们是非常正常的，这取决于LV有多lessI / O负载。

CPU是没有真正加载，总是至less有30％的空闲。

 top - 02:26:21 up 8 days, 11:34, 2 users, load average: 3.48, 3.99, 3.83 Tasks: 244 total, 2 running, 242 sleeping, 0 stopped, 0 zombie Cpu(s): 15.3%us, 9.7%sy, 0.0%ni, 62.8%id, 11.4%wa, 0.0%hi, 0.8%si, 0.0%st Mem: 33001640k total, 23715816k used, 9285824k free, 10740k buffers Swap: 2096124k total, 0k used, 2096124k free, 1159788k cached 

%wa负载在某些时候甚至是50％，但是通常只有5个或更多的LV持续触及100％的util。

即使有5个或更多的LV在100％运行，也没有一个SATA磁盘真的有90％以上的负载。 他们都在40％到60％的地区使用。

——————————-

编辑2，18-feb-2014;

今天我决定build立另一个VPS节点来做更多的testing。 该系统使用与其他所有设备相同的设置（KVM + SolusVM控制面板）。 此testing设置使用以下硬件：

 Intel Core i7 2600 32GB memory 4x WD Black 1.5TB (WD1502FAEX), 7200rpm, 64MB cache, SATA600 2x Samsung 830 Pro 128GB SSD's So basically a completely different storage layer. 

操作系统：CentOS 6.5 +所有最新的更新。 股票内核，但也没有改变性能尝试最新的主线（3.13）内核。

在WD Black驱动器上创build了一个RAID-10arrays（n2布局，512K块，带有位图的股票configuration）。 在SSD驱动器上创build一个将由flashcache使用的RAID-0arrays。 此设置以所有LVM I / O经过闪存caching（如直写caching）的方式进行configuration。 SATA和SSD硬盘都有老派的512个扇区，所以没有扩展格式。 我select了这些磁盘，只是为了看看这些和大多数时间使用的扩展格式不同。 但是我已经将它们分区为4K驱动器。

我开始在主机节点上进行一些testing。 我创build了一个空白的LV卷。 在使用DD做一些读取基准的同时，我在主机上读取了这些结果：

• Uncached〜390MB / s的读取
• SSDcaching〜950MB /秒读取（第二次运行，当数据由flashcachecaching时）

那么这些结果看起来不错！

现在相同的testing，但在一个虚拟机与4GB内存，VirtIO和“caching=无”。 我启动了一个Ubuntu的Live DVD，并做了相同的testing….这有可怕的结果：

• 未读取〜90MB / s读取
• SSDcaching〜90MB / s读取（第二次运行，数据由flashcachecaching）

在testing过程中，“dm-x”设备（testing虚拟机的LV）一直加载到95％以上，而单独的SATA硬盘没有超过35％。 同样的SSD的。 任何时候单个设备都不会超过50％的util。

这里是我曾经提到过的最高负载的输出来进行这个设置。 这是在未cachingtesting期间（这解释了在SSD上的写入）：

 Device: rrqm/s wrqm/sr/sw/s rkB/s wkB/s avgrq-sz avgqu-sz await svctm %util sda 0.00 0.00 361.00 2547.00 1444.00 10188.00 8.00 0.62 0.21 0.03 8.90 sdc 992.00 1.00 246.00 7.00 4932.00 14.50 39.10 0.87 3.43 2.16 54.60 sdb 0.00 0.00 303.00 1754.00 1212.00 7016.00 8.00 0.41 0.20 0.03 5.80 sdd 825.00 1.00 173.00 7.00 3992.00 14.50 44.52 0.60 3.34 2.56 46.00 sde 866.00 25.00 229.00 11.00 4404.00 130.00 37.78 0.85 3.50 2.23 53.40 sdf 771.00 25.00 163.00 11.00 3736.00 130.00 44.44 0.65 3.72 2.98 51.80 md2 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 md1 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 md3 0.00 0.00 663.00 4301.00 2652.00 17204.00 8.00 0.00 0.00 0.00 0.00 md0 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 md4 0.00 0.00 4266.00 36.00 17064.00 140.50 8.00 0.00 0.00 0.00 0.00 dm-0 0.00 0.00 4929.00 36.00 19716.00 140.50 8.00 14.56 2.92 0.20 99.60 dm-1 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 dm-2 0.00 0.00 4929.00 36.00 19716.00 140.50 8.00 14.56 2.92 0.20 99.60 

（dm-0是flashcache，dm-2是guest）

为了确保flashcache层不会破坏所有的性能，我已经在flashcache（dm-0）被禁用的情况下再次进行了相同的testing，并且在guest虚拟机中具有几乎相同的可怕的90-100MB / s的性能。

所以出于某种原因，所有的表演都在客人面前消失了。 我在Windows和Linux客户机上得到了这些结果。 所有使用VirtIO和caching设置为无。 使用IDE时，性能会进一步下降。

实际上，使用相同的闪存caching设置的单个磁盘或RAID1设置的性能远远好于我迄今使用的所有KVM上的MDADM RAID-10设置。 MDADM RAID-10在主机上执行得很好，但在客户机内很糟糕。

现在我正在构build一个新的RAID 10arrays，但与偏移布局。 但我不希望有更好的性能，因为RAID驱动器本身没有被完全加载 – 这只是看到100％util的个别“dm-x”LV卷。

我仍然无法相信为什么这些RAID-10 + LVM + KVM设置是可怕的缓慢:(很沮丧。

  total used free shared buffers cached Mem: 129153 109117 20036 0 588 26664 -/+ buffers/cache: 81865 47288 Swap: 4095 0 4095