新的2x8TB文件服务器的RAID / LVMconfiguration是最安全的?

我只是build立一个全新的PC作为一个文件服务器。 它有一个用于操作系统(ubuntu 12.04)的60GB固态硬盘,以及8个2tb数据驱动器。 我正在寻找最安全,最稳定的方式来build立一个具有冗余的巨型存储池。

注意事项:

  • 我的首要任务是保护数据。 可用性,可靠性,弹性,可恢复性和风险pipe理。 所有那些意味着不会丢失我的文件的单词。
  • 我不仅仅关心袭击types本质所暗示的理论风险,而且还关注简单性和最小失败点的实际考虑。 特别是考虑到我不是RAID或FS技术方面的专家,我的排除故障能力仅限于我可以谷歌了。
  • 这不是一个很重要的事情,就像数据库服务器一样,每天都有数据库服务器,主要是为了保存各种stream媒体以及所有用户的networking访问文件。
  • 我最可怕的噩梦是发现由于太阳落在电容器中的一些混乱理论α粒子,在我的硬盘/元数据/主板/软件/任何使整个arrays无法恢复的错误。 DOOM&H8!
  • 因为我将会stream式传输数据,读取速度优点值得赞赏(但是次要的)
  • 最后,我可能想要添加驱动器,使用LVM将RAID1池对,这很容易。 RAID6或RAID10arrays必须从头开始重build空白驱动器?
  • 如果这是相关的,我将我的8个硬盘插入华擎Z77 Extreme4主板上的8个板载SATA插槽,其中4个是SATA2,4个是SATA3。 操作系统位于挂接到PCIe SATA控制器的SSD上。 8GB的RAM。
  • 见#1 – 我的首要任务是保护数据。

我已经读过RAID6实际上风险较小,因为任何2个磁盘可能会失败,而不是每个镜像对只有一个,而RAID6的主要缺点是写入速度,这是我不关心的。 我已经接受了一半的驱动器丢失镜像,所以我不想听起来贪婪,即使考虑到RAID6,但如果它实际上更安全,更快的读取,并让我保持12 GB而不是8,也许这将是愚蠢的不要。 或者,也许我错过了一个更大的图片

我想我要求的是在8-12驱动器arrays中的缺点,或者哪一个最适合数据保护,读取速度较慢。

  • LVM(4x2tb)+独立磁盘的夜间cronjob备份
  • LVM(4xRAID1)
  • (RAID10)
  • (RAID6)

谢谢你的帮助!

如果你的数据真的很重要,那么丢失就意味着要和电器一起洗澡,那么就没有办法需要另外一台服务器来镜像设备, 并且有真正的备份。 您在一台服务器上执行的任何操作至less有一个单点故障。 (至less,服务器本身 – 对于最基本的例子,如果发生火灾,或者PSU熄灭,并且把所有其他东西都拿出来呢?等等)

而且由于相同的原因,您需要使用某种保留方式进行真正的备份。 没有任何备份意味着数据损坏可能会把整个事情都拿出来,因为如果你正在将一个系统复制到另一个系统上,你很可能会复制出现的任何损坏。

而且由于目前还没有人这么说,RAID6和大的SATA磁盘不是很好的组合。 它提供了比RAID5更多的冗余设置,但还不够。 在这样的大型磁盘上,几乎可以肯定你的奇偶校验条带上有一个读取错误,这实际上意味着在其中一个磁盘上,某处(但是你不知道在哪里),你正在使用RAID5 。 在磁盘失败之前,这一切都很好。 然后你运行在发生故障的arraysRAID上,这对关键数据来说是一个很大的风险。

关于磁盘故障的话题,RAID6与RAID5相同 – 奇偶校验位的计算是复杂的,需要花费大量的时间,资源和I / O来完成,这意味着您实际上面临更大的风险arrays在重build过程中的失败比你想象的还要多,而且我已经看到了RAID6arrays(甚至是热备份)的噩梦场景,在重build期间失败了 – 考虑到重build所需的所有I / O,但如果它发生在你身上,则会非常严重。

我build议在2xRAID10中运行它,因为它是值得的 – 你会获得性能优势,以及一些冗余度。 在镜像中重build故障磁盘RAID比在任何基于奇偶校验的系统中find的要快得多,因此更安全。 如果有问题,我家里有12个磁盘RAID6arrays(12x2TB近线SAS),所以我确实喜欢RAID6,但对于关键数据来说还不够安全。

最后一点,你不想通过电击杀死自己。 这是非常痛苦的,所以你可能会更好地服用不同的自杀方法。

最安全的? 双轴RAID60。 或者更好,ZFS。 不要忘记你的备份!

我真的不赞赏你最后的考虑 – 如果我失去了我的档案,我会用烤面包机洗澡。 这会让人们回应,尽pipe它应该是有趣的(或者是?)。

移动,数据恢复存储是一个神话,一切都可能失败。 为此做好准备。 从你的要求,几个意见,

[1]您的单个SSD驱动器可能会失败。 你不是RAID或FS的专家,你将如何恢复你的数据? 它是一个企业级SSD吗? 固态硬盘如何帮助你?

[2]我假设你正在使用“桌面”类驱动器。 它们不是为全天候运作而devise的,也不是为了持续更长的时间。 典型的台式机硬盘有1年或2年的保修期,而企业级的硬盘则有3到5年的保修期。

[3]您正在使用板载主板RAID。 虽然这可能有效,但很难设置和pipe理。 真正的硬件RAID控制器为您提供更好的保护,更高的性能,更易于使用。 如果你负担得起的话,去做吧。 尽pipe如此,确保RAID控制器上的固件是最新的。

[4]你的主板,内存,电源,电源都可能失效。 您是否准备好从其中恢复数据,因为失败可能会导致数据损坏/丢失。 如果您不closuresHDD驱动器上的caching(将其设置为直写模式),则可能会丢失一些正在传输的数据。

这些只是一些指针,

  • 在8个驱动器中,将2个驱动器设置为热备份。 你将需要他们。
  • 如果可以的话,购买企业级驱动器
  • 使用LVM或zfs作为您的文件系统。 检查FreeNAS。
  • 定期备份和数据快照,包括你的configuration文件,特别是你的RAID,并将它们存储在其他地方。
  • 避免所有的单点故障 – 启动驱动器,电源,网卡(绑定/分组将有所帮助)。
  • 买更长的保修期的主板。 有些是5年保修,是军事/工业级build成。
  • 使用RAID 6
  • 确保服务器有足够的冷却和通风
  • 运行完整的定期监测以积极主动。 检查CPU / HDD温度。 检查CPU /冷却风扇速度。 检查SMART是否有可能的磁盘故障,并提前更换它们。 检查文件系统一致性。

如果你能负担得起,而且数据非常关键,那么build立另一个存储器(使用不同的制造商组件),并使用DRBD(或其他)在两个存储服务器上进行复制。 在工作中,我们使用GlusterFS在企业级硬件上保持复制因子3。

希望这可以帮助。

越简单越好。 LinuxSoftRAID-6上的LVM看起来很合理。 需要考虑的另一件重要的事情就是FS。 在Linux的世界里,只有Btrfs有内置的数据validation机制。 但是我怀疑它的开发者会分享你对洗澡烤面包机的态度。 ;)

无论如何,就在使用RAID6之前,需要进行1或2个磁盘的操作。 更进一步 – 拿出3或4,然后让它恢复工作。 LSR是完全可能的。 而且一个build议 – 使用它的位图,它会为你省下很多时间。

如果你打算去RAID 6的路线,那么请帮你一个忙:访问eBay,拿起几个PERC 6 / i卡(一个作为备用)和两个SFF-8484到4xSFF-8482电缆连接驱动器。 你以后会感谢我的

如果你决定使用ZFS,那么就整个猪吧,然后安装NexentaStor。 这可能是最安全的,你会得到你的数据在其预期的,呃,家。

仔细想一下备份策略。 RAID和ZFS都不是备份的。 兆兆字节的数据备份是不容易的或便宜的; 它通常不是通过互联网可以做的事情,无论如何,千兆字节的“云”存储将使您回到比驱动器更多的地方。

有三种服务可用…快速,好,便宜。 select两个。

没有“最好的”只是“更好地给予xyz权衡”。

鉴于您列出的DASD(直接连接存储设备)的一些折衷权衡可能是一个好主意。 你可能会发现像GlusterFS(红帽存储)或CEPH更有用。 Gluster例如通过文件服务器集群来复制数据,该集群可能会丢失一个或多个磁盘,并且可能会多出一个节点并保持数据完整性。

总体而言,您的列表适合两种或更多的解决scheme。 您可能需要将快速DASD或SAN用于RDBMS,在这种情况下,您将需要投入时间和资金进行镜像等等。 其他用例可能非常适合Gluster之类的东西,它可以使得扩展更容易,并且可以将您从需要了解每种RAIDtypes的复杂性中抽象出来。

底线,你需要对你的用例做更多的数据分析。

请阅读备份之道

你不需要最好的RAID – 简单的RAID5就足够了。 RAID是高可用性解决scheme,而不是数据保护解决scheme。 您真正需要的是一个非常好的备份解决scheme – 通常会自动进行备份,并经常保存几个旧的备份和异地备份(这不是自动的 – 例如可以是银行存储箱中的一组磁盘)。