24TB RAID 6configuration

我负责一个存储大量数据(每个客户10+ TB,即将增加到2或3个客户)的利基行业的新网站。 我们正在考虑订购价值5000美元的3TB硬盘(RAID 6configuration10个,备份10个),这将给我们带来大约24TB的存储空间。 数据一次写入,在网站的整个生命周期内保持不变,所以我们只需要一次备份。

我了解基本的RAID理论,但我没有经验。 我的问题是,这听起来像一个很好的configuration? 这个设置会导致什么潜在的问题?

另外,做一次备份的最好方法是什么? 有两个RAID 6arrays,一个用于非现场备份,一个用于生产? 还是应该将RAID 6生产arrays备份到JBOD?

编辑:数据服务器正在运行Windows 2008 Server x64。

编辑2:为了减less重build时间,你会怎么想用两个RAID 5而不是一个RAID 6?

我目前支持高达96TB的220台服务器(总计2PB左右),我的团队build立了一些高达240TB的服务器。 以下是我的build议:

  • 使用一个好的,可靠的硬件RAID控制器:可能的select是3Ware 96xx或97xx,LSI 92xx,Areca 16xx,Adaptec 5xx5 …当然,有电池备份单元,因为有时会发生电源故障。
  • 只使用专业级驱动器,配备24/24和7/7操作支持; 不要使用便宜的台式机硬盘 。 您不希望损失10万美元的数据,因为您select每个驱动器节省20美元。
  • 驱动器最大,重build时间越长。 最好的情况下3TB将需要至less12个小时。 使用RAID-6提供可靠的保护。
  • 驱动器确实失败。 每年高达5% 甚至不想使用JBOD,即使是备份。 这是不好的build议。 使用RAID-6。
  • RAID-5已经过时了,我们不再使用大于300GB的硬盘。 看这个专家post为例 。 我有没有提到你应该使用RAID-6?
  • 只有24 TB,我会坚持2 TB的驱动器; 3TB的费用有10-15% 更多的主轴将提供更好的性能,更短的重build和更好的安全性,因为驱动器已经可以使用相当长的时间,而且非常可靠。
  • 您可以购买一个出色的3U Supermicro,AIC或具有16个驱动器插槽的等效机箱,装满2TB驱动器(RAID-6 +热备件),可提供24个可用空间和冗余电源。

老实说,我认为驱动器5千美元有点陡峭…但这是一个完整的其他主题。 设置听起来不错,但是在发生驱动器故障的情况下…单个容量为24tb的将会带FOREVER重build。 (曾试图读取其他9个磁盘上分割的3tb数据?)最好是将较小的raid集合在一起,形成一个更大的卷。 如果一个驱动器出现故障,在整个重build过程中,它不会杀死整个卷的性能,而仅仅是一个raid集的性能。

另外,根据您的网站运行的是什么(Linux / Windows / OSX / Solaris / ???)也可以指定您使用的工具和您使用的configuration。

“一次性备份”是什么意思? 如果你的意思是“单向存档”…(即新文件写入备份服务器..但没有任何读取它),我强烈build议在* nix风格的环境中使用rsync(linux / unix /等等…)或者如果它是基于IIS(Windows)使用像synctoy或xxcopy的东西。 如果您需要一个LIVE副本(写入文件到出现在其他服务器上的延迟时间为0),则需要提供有关您的环境的更多信息。 Linux和Windows工作完全不同,这些工具是100%不同的。 对于像这样的东西,你可能会想看看集群文件系统,可能应该更多地考虑SAN而不是基于主机的存储。

我们通常使用RAID5或6来备份磁盘,因为一旦您忽略了RAID 0,它可以提供最佳的降压function:-)所以我会为此而不是JBOD

有一件事你可能会考虑的是分批购买你的磁盘,而不是一次购买20个,就好像在一个批次中存在制造缺陷一样,它们可能会在相似的时间失败。

如果数据只是一次写入,那么您也可以考虑使用镜像而不是传统备份 – 有相当多的软件和硬件存储系统可以设置,而且还可以在事件中获得故障转移的好处您的主存储失败。

一个适合您的用例的选项,特别是在您的需求不断增长的情况下,是一个HSM(分层存储pipe理器)。 我已经安装了几个高达150TB磁盘和4PB磁带的HSM。

这个想法是HSMpipe理数据的生命周期以降低整体存储成本。 数据最初存储在磁盘上,但几乎立即归档到磁带(每个字节便宜得多)。 可以将存档策略configuration为在磁带上存储多个副本以提高安全性,而且大多数人会在场外进行第二次副本。 从磁带迁移到最终用户是透明的 – 文件仍然出现在文件系统中。

当最终用户将来请求文件时,数据将自动从磁带中退出并提供给用户。 使用磁带库时,分段过程仅在检索时间内增加约一分钟。

HSM的一个巨大好处是恢复时间,如果您的磁盘失败或者如果您有文件系统损坏。 如果您遇到灾难性的磁盘或文件系统故障,您可以find更多磁盘,并恢复文件系统元数据的最新备份(仅占总数据量的一小部分)。 那时,所有的数据都可以照常按需提供。

在确定SAN的RAIDconfiguration时,您不得不担心性能和可靠性,以及所需的恢复时间。 因为你的奇偶校验写的次数增加了一倍(这取决于你的特殊的raid六次),所以在定制的ASIC中进行计算通常是最好的。 由于您的数据是静态的,所以您真正担心的是,如果1个驱动器发生故障,您可以承受处于降级状态的时间。 另外值得注意的是,驱动器往往会失败倍数,所以最好在两组之间安装驱动器。

就备份而言,我认为在备份集中不需要冗余,所以JBOD很好

我目前拥有这个规模范围内的文件系统,目前总计58TB,另外还有一个单独的副本。

我有几个驱动器故障,是的,驱动器越大,重build时间越长。 为了缓解这个问题,我把这个存储分成了几个RAID,每个都有5-7个硬盘。 目前它是RAID5,但是当我得到3TB硬盘时,我打算开始使用RAID6。

所有这一切都与LVM相结合,因此我不必考虑在哪里发生什么事情,只需在需要时添加额外的盒子,并在它们太小以至于无法certificate它们占用的插槽时移除旧驱动器。

硬件主要是Coraid AoE盒(但一些iSCSI目标将很快join),使用LVM进行pipe理,文件系统如果低于4-6 TB,则为Ext3 / 4;如果超过该容量(当前高达34TB),则为XFS。 使用rsync和DVD处理所有备份以进行脱机存档。

除了一些监控软件(主要是Zabbix),这几乎是免维护的设置。

还有一点要补充的是大家在这里说的。 对于Windows和大型文件系统,如果您决定打破文件系统,但希望保留相同的文件结构,请查看将这些驱动器安装到文件夹path。

http://technet.microsoft.com/en-us/library/cc753321.aspx

我很惊讶没有人build议使用MogileFS ( github )。

MogileFS将自动镜像不同服务器上的数据,每个磁盘只是一个“JBOD”哑盘。 有许多生产设施与许多TB(100+)数据。

对于服务器硬件,“机箱中的大量磁盘”有很多选项。 例如Backblaze Pod (相当于自己动手/不支持)或Super Micro服务器(我们使用Silicon Mechanics ,我相信在wordpress.com上,他们使用的是带有MD1000磁盘柜的常规2U戴尔服务器。