RAID 5 30TB文件存储 – 大文件上的文件系统和条带大小

现在我的存储容量是6TB,而且我将在几个月内增长到30TB,我希望听到一些有关文件系统和元素条大小的提示/build议,以便将来不会出现问题。 90%的文件是700MB-4GB(主要是大video文件和档案)

现在我正在使用ext4和64KB的条带大小。 我应该增加带宽大小为128KB / 256KB? 会比ZFS或XFS比EXT4更好? 实际使用率为85%,写入为15%。 将来当shell满了时,阅读将是100%,我希望有最好的通过率。

试试看:不要在任何2GB或更大的驱动器上使用Raid 5;)对于30tb,我甚至会使用Raid 6镜像(即软件RAID中的2个副本),以确保在数据损坏的情况下保留数据。

现在我正在使用ext4和64KB条形大小。 我应该增加带宽大小为128KB / 256KB? >

硬件还是软件? 通常是的 – 阅读更多的数据比稍后再回来要less得多。 这里不是Linux的家伙 – 但是SQL Server例如读取64kb扩展,但是试图将表数据保存在线性块中,这样IO就减less了。 一个好的大文件系统会尝试相同的,这意味着大于64GB的IO段大小是好的。

我记得企业级Raid控制器的分析显示,与较小的尺寸相比,512kb / 256kg的吞吐量有所增加。 尤其是如果你有足够的caching来使其在Raid控制器级别“坚持”。

很多还取决于阅读。 LArge档案和文件主要是线性非随机访问。 那会飞。 我有一个较小的系统,但是我们在大量的机器上有近200个进程的冗余读取,1GB的机器,10的存储 – 所以这是大量的随机IO进来,我使用RAID 8伶盗龙属。 这是每秒半千兆字节的交付。 Adaptec 71605Q上的256kb Stripe,Raid 6,1GBcaching。 SSD作为高速caching可用,但不适用于该组;)

很多取决于阅读模式。

但是远离Raid 5那些大驱动器。 这是赌博的数据 – 除非你可以没有Raid的生活(在重build过程中,由于驱动器故障重build期间全面重build期间),并有另一个备份源(如磁带)。 从math上来说,YOu基本上可以预料到许多4tb硬盘的问题。