RAID – 使用多个条带大小

在大型在线商店(1PB),如果您有很多小文件(32Kb <),图像(256KB-5MB)和video(> 100MB)可以使用多个不同带宽的磁盘吗?

可以说10个16 KB的磁盘大小,20个256KB的磁盘,30个1MB的磁盘。 当你上传一个video,它上传到1MB条纹的磁盘,或者当你上传一个小文件的IP上传到16KB条纹的磁盘。

小的条纹大小会导致大量文件的卡盘数量过多,而如果您的小文件小于32kb,则大条纹无效,如果您使用不同的条带大小,是否可以提高读/写性能?

虽然你的问题的答案是简单明了的:

是的 ,只要控制器支持,您可以在控制器中创build不同的虚拟磁盘,并为每个虚拟磁盘设置不同的属性,如[条带大小,RAID级别等]。

我认为1petabyte是一个错字,否则你的问题是毫无意义的,因为你不应该在一个单一的存储机柜中有这么多的数据。 您需要查看不同的解决scheme,最有可能是分布式对象存储,以区分每个类别对象(video,缩略图,大图片)的后端,类似于我最初发布的评论。

有可能使用不同的条纹大小的多个磁盘?

是的,但不是在同一个arrays中,他们通过在所有arrays成员上划分相同的大小来工作,我想像ZFS 可能允许这样的摆弄只是为了它的地狱一样灵活,但我想这确实是一个非常糟糕的主意。

当然,你可以有多个arrays,每个arrays都根据不同的文件大小/需求进行调整 – 但是这将是你的工作,以确保适当的文件被写入正确的数组/卷。

不要忘记,你处理的大多数文件系统都会自动进行延迟写入,所以它会“聚集”大量的写入,因此至less部分地否定了将文件分割成不同卷的积极影响。

最终,我build议只是用一个体面的FBWC获得一个非常好的arrays控制器,并相信文件系统来完成它的工作。