我们正在PCI-e 2.0 x8插槽中使用LSI 9211-8i RAID控制器(在IT模式下闪烁)。 它通过1根SFF-8087电缆连接到超微型SAS 836EL1背板。 我们有16个驱动器安装。
当我们对一个磁盘性能进行“badblocks”testing时,大约是140MB / s。 当坏块在多个驱动器上同时进行testing时,所有驱动器都会保持约140mbyte / s,直到超过8个驱动器。
激活16个驱动器后,每个磁盘上只能获得60mbyte / s的速度。
这是扩展器背板的正常行为吗? 如果不是,可能是什么原因?
这就是SAS扩展器的工作原理。 你在技术上超额认购,但实际上,你不应该这样做。
SAS SFF-8087连接能够达到4 x 6.0Gbps == 24Gbps吞吐量。
140兆字节/秒是〜1.2Gbps。 8个磁盘的速率约为9Gbps。 在费率下降之前,你可能会多得几块硬盘。 考虑一些开销。
您将以3.0Gbps速度(4通道SAS电缆上的12Gbps天花板)达到顶峰。
您的LSI HBA和扩展器背板之间可能存在链路协商问题。 检查LSI控制器,看它是否在SFF-8087端口上显示3.0Gbps链接或6.0Gbps。 您只能获得3.0Gbps的速度,但链中的所有设备(除了磁盘)均为6.0Gbps。
你有没有把扩展器的固件升级到最新?
编辑:
我想我在工作中遇到了这个问题…这个扩展器types和LSI控制器有一个问题,导致SATA驱动器以1.5Gbps链接。 看看这里。 所以谈判的问题可能会在驱动方面。 您还可以检查LSI控制器上的固件吗?
SAS扩展器不像(本文所述)像“以太网交换机”那样“存储和转发”。 它们只能像arrays中最慢的信号装置一样快。
在这种情况下,您的驱动器仅支持3.0 Gbps,单个SFF-8087电缆携带4个端口至控制器,总共为12.0 Gbps。 在编码开销的情况下,每个驱动器大约需要1200 MB / s的共享空间,大约75 MB / s。 抛出一些SATA协议的开销,我们下降到你看到的60 MB / s。
如果为总共8个3.0 Gbps通道添加另一条SFF-8087电缆,则可用总线带宽将翻一番,实际上每个驱动器可达到约120 MB / s。 相反,如果驱动器支持6.0 Gbps而不是3.0,则可以通过单根电缆达到相同的120 MB / s,或者通过两根电缆达到每个驱动器的峰值吞吐量。 (TL; DR:尽可能使用两个SFF-8087上行链路)
这就是为什么SATA和SAS驱动器现在以6.0甚至12.0 Gbps信号传输速率出货的原因之一。 单个磁盘只能提供一小部分吞吐量,但通过以更快的速度运行整个SAS总线,它可以在瓶颈之前处理更多的驱动器。
我认为瓶颈是在单一的SFF-8087电缆,它可以让你在整个12GB / S左右。
您可以通过丢弃4个磁盘来确认,并查看每个磁盘(16 ^ 60/12)的性能是80mb / s,还是尝试使用2根电缆连接到LSI 9211-8i。
底线阅读手册。 http://www.supermicro.com/manuals/other/BPN-SAS-836EL.pdf