Linux文件系统

最近我们在存储方面有失败,我们需要fsck。 存储大约1.2万亿,花了我们5个多小时。

有没有ext3文件系统的替代解决scheme,还是比ext3更好? 有正反两面的build议是值得欢迎的。

TQVM

有一些LWN文章可能是有趣的:

  • fsck的许多面孔
  • 文件系统:chunkfs和reiser4
  • chunkfs发生了什么事?

我怀疑,当你必须运行文件系统的完整检查时,你会看到任何文件系统的类似结果。 如果您有1,000,000个inode正在使用,那么如果您必须检查所有这些inode的一致性,那么它们的组织方式并不重要。 任何你削减的方式,你将会触及100万个文件。

这将大大加速这个事情是更快的磁盘和更多的主轴。 如果您需要1.2TB,那么RAID 10中的8×300GB SAS驱动器的性能将远远优于单个1.2TB SATA驱动器,而与文件系统无关。 当然,这会花费你更多,但你的停机时间是什么? 它仍然不会阻止文件系统错误,但会减less恢复时间。

还有其他要考虑的是失败卷上的数据是否变化非常大。 如果它大部分是静态的并且具有良好的备份,则可以更快地恢复卷并从备份中恢复。 你冒着失去最近的变化的风险,但是再次,你必须权衡这与停机时间的成本。

你在这里有很多select。 文件系统虽然具有类似的基本用法,但所有的行为都有所不同,具体取决于您向其投入的工作负载types – 实际上确定性是,虽然一个人可能发誓说ReiserFS的好处,但另一个人会厌恶它。

从企业angular度来看,我最熟悉的两个文件系统是JFS和XFS。 虽然使用不是很广泛,但是我是JFS的忠实粉丝,因为它从来没有让我失望,在各种工作负载中都performance的很好,非常稳定,相对容忍电源故障。 XFS会给你提供更好的性能,但是如果电源中断的话,它确实存在已知的数据丢失或损坏的风险 – 如果你有pipe理权力,绝对值得使用。

桌面的土地我现在只使用Ext4,因为它的速度比ext3快得多,并且导致I / O开销和CPU使用的减less,这对于延长我的笔记本电脑电池寿命是非常好的:-)

有关更多信息的好参考: http : //en.wikipedia.org/wiki/Comparison_of_file_systems

编辑:正如其他人也提到,在发生文件系统错误[腐败等]的情况下,将不得不进行某种修复来解决问题。 无论这是自动化的(如ZFS)还是手动的(几乎所有其他的事情),文件系统都需要一段时间才能恢复到干净的状态。 大多数情况下,您将不得不使用文件系统卸载或处于只读状态执行这些操作。 需要多less时间取决于问题的严重程度,元date的大小/状态以及磁盘的速度。 一个可怕的时间例子,我经历了一个XFS腐败需要一个完整的12TB文件系统重build,大约需要12小时才能完成。

我不确定在文件系统损坏的情况下,有没有什么真正的好的selectfsck在这个大小的文件系统上不需要很长时间。 XFS通常是我在Linux上select的文件系统,但任何损坏都需要fsck。 我不确定它比ext3快得多。

虽然这对你目前的情况没有帮助,但fsck的日子是有数字的。 较新的COW文件系统(如Solaris / OpenSolaris上的ZFS)从不矛盾,不需要fsck。 我希望在生产就绪后,Btrfs在Linux上的相似性会更好。 现在最好的办法是尽量限制文件系统的大小……在当今非结构化数据的爆炸式增长中并不总是一种select。

你知道是什么原因造成的文件系统损坏? 如果它突然失去了权力,那么你可以做的最好的事情就是获得一个UPS。

如果你在Linux上,我实际上build议仔细看看btrfs。

Imo目前在Linux中没有适合大容量存储的文件系统。 XFS,JFS reiser和其他人都有自己的一套问题。 JFS碎片整理例如还没有移植到Linux呢。 XFS只是一个很好的select,当你可以确定,永远不会有电力损失,你的硬件是绝对可靠的。 我不相信后者是可以预测的。 Reiser实际上并不是真正的积极开发,并且有一些缺陷,可悲的是。

btrfs是为了避免ZFS的一些devise缺陷而努力将ZFS像函数一样带入Linux。 请记住,虽然btrfs目前仍在积极发展,但正在成熟。 我不会推荐它用于生产用途,但它可能是未来可行的升级途径。 当你等待,你可能实际上想坚持ext3 / 4。 虽然这些都远远不够完美,但他们现在正在Linux上成为您最好的select。

你有考虑把音量分开吗? 然后你可以运行并行fscks(或者更less,如果你有一些干净的FS)。

例如。 3 x 400GB的容量= 1.2TB。 使用符号链接或更改homedirpath,将文件放在正确的位置。

邮件是相当不错的 – 你不会得到很大的文件。