我们有less量的戴尔T410和T710系统。 每个都有一个带有6个SATAII磁盘,1x160GB操作系统和5×3 TB数据磁盘的戴尔SAS 6iR控制器。 我们一直都有磁盘访问速度问题,每个磁盘单独给出的速度不超过100MB / s,但是在负载下速度很慢。 我们被告知这是我们的磁盘控制器。 试图用H700replace其中一个,看到差别不大,也许5%的速度增加。 相信自己必须是SAS – > SAS背板 – > SATAII磁盘。
但是现在我们正试图在系统之间设置ceph集群,并加快我们用Highpoint 620 PCI-e 1X卡购买OCZ Vertex 4 SDD的日志文件,因为SAS全部采用SAS背板。 这一切都很好。
但是在testing中,我已经尝试了dd = / dev / zero bs = 4k count = 1024k = / mnt / test1.img,其中SSD是用EXT4文件系统安装的。 我有'iostat -dmx 1'在另一个窗口打开。 我看到写入完成,报告写入磁盘390MB / s,但这是与磁盘caching。 在Iostat中,我看到它从我们的SATAII磁盘上看到的同样速度的100-120MB /秒的磁盘上!
在另一个方向尝试相同的testing,'echo 3> / proc / sys / vm / drop_caches; dd if = / mnt / test1.img bs = 4k = / dev / null,报告为194MB / s,在iostat中为189MB / sec。
我在Ubuntu 12.10和CentOS Live CD上也是这样做的。 我们的Windows 2008 R2系统一直很慢。 所有的BIOS和固件都是最新的。 尝试noop,截止date和cfq调度,所有相同的结果。 在BIOS中closures所有内存和CPU选项,不变。 尝试IOATDMA启用,没有改变。 试着拿出所有的networking和SAS卡,只留下SATAIII卡和SSD,没有变化。 SATAIII卡被正确识别并将SSD标识为6G速度。
SATAIII卡和SSD在其他桌面系统中可获得400MB / s +。
任何想法接下来要尝试什么?
我们再也无法替代,重新开始。 这就好像有一些资源正在限制I / O资源或时间的数量,以至于无法达到全速。 有限的戴尔BIOS没有太多的select来做到这一点,卡和SSD在其他系统中工作正常,所以它不应该是罪魁祸首。 SATAII磁盘一直很慢,即使它们在其他系统中性能更好。
我甚至可以看到系统上的元磁盘上的缓慢的性能。 当我在CentOS中使用条带化或镜像来尝试LVM时,这是可见的,它设置背景以实现LVM卷的元数据被限制在与它们后面的磁盘相同的速度。 在那个时候,它可能与实现它的新代码或者RAID操作的阻塞IO方面有关。 现在我认为这一切都是相关的。
那么从我的angular度来看,这个问题可能是PCI-E总线出现故障,或者是一般的控制器问题。 在控制器方面,您是否尝试禁用SSD驱动器的写caching? 戴尔正式build议使用SSD驱动器时禁用写入caching…
另一点,如果我没有正确记得任何戴尔控制器禁用写caching,如果你没有任何电池备份单元(BBU)安装在服务器,你有吗? 如果不是,则强制执行PERC BIOS中的写入caching,并检查性能是否发生变化。 请记住,没有电池的写入caching会让您在电源故障事件中发生灾难性的数据丢失!
作为最后的手段,如果是PCI-E总线问题,最快和最简单的方法应该是更换控制器插槽。
编辑:忘了提及
你有升级系统固件到最新版本? BIOS,PERC固件和相关的东西? 如果没有,则从support.dell.com获取最新信息,然后重试。 也许它不会改变任何东西,但是旧的戴尔BIOS固件在Nehalem体系结构中有一个扼杀CPU的bug,试图禁用BIOS的CPU部分的C状态,注意它会增加功耗!