我们有一个小型的Cloudera发行Hadoop集群(14个节点,但正在增长)。 随着我们扩大使用这个集群,我们发现磁盘存储是我们最大的障碍和要求。 内存和CPU使用量对于我们的工作负载来说是最小的,我们的开发人员已经显着减less了存储的数据量。
我们使用的硬件相对较低端,因此我们已经最大限度地减less了我们可以在每个节点上安装的驱动器数量。 目前我们还没有太空,但是我们有了一个新的数据源,可以加速我们的数据增长,我们希望只是为系统增加存储空间。
系统只有一个扩展卡插槽,目前有我们的SAS HBA运行内部驱动器。 我相信我们可以用具有内部和外部SAS端口的HBA代替它,使我们能够维护内部驱动器并连接到外部驱动器。 在我的理解范围之内,Google的力量在于我无法find最佳的设置来保存外部硬盘驱动器,并让每个服务器直接访问驱动器,即6Gbit / s SAS。
Hadoop HDFS更喜欢在它和硬盘之间没有任何其他技术,我想保持这种方式。 如果我使用的是SATA,我将select一个外部的机架安装的驱动器机箱,它可以将外部eSATA端口直接连接到驱动器内部,而不需要驱动器扩展器或RAID控制器。 我无法在SAS硬件中find等价物。
我试图find的是对DAS SAS的build议,最好带有一个可以为多个服务器提供服务的机箱,除此之外不会有任何创意。 如果不这样做,我有什么select为我们现在使用的SAS驱动器提供相同的存储和速度?
贾里德
您正在寻找一个可容纳SAS磁盘的外部JBOD机箱,并且可以划分或容纳多台服务器。
我能想到的唯一例子是HP MDS600(旧)或D6000(当前)
这些可以安全地与标准的SAS HBA(LSI)一起使用,并提供直接的磁盘访问而无需RAID层。
请参阅: HP MDS 600兼容性问题
mds600 http://images02.olx.co.ke/ui/17/23/43/1371146616_516962043_2-Pictures-of-AJ866A-HP-StorageWorks-MDS600-with-Dual-IO-Modules-459158-005-Over- 200TB.jpg