检测数据损坏,所以我们不备份损坏的文件

我一直在考虑数据完整性,目前我备份了大约2TB的数据,并且总是有一年前的数据备份。

我担心的是,如果一个文件在我们的生产文件服务器上变得腐败,没有人会注意到,因为一些文件不被访问多年,如果发生损坏,我会备份一个损坏的文件。

我不知道我应该如何处理这个问题,有没有办法来检测数据损坏? 或者是唯一的解决scheme来存储较旧的备份,以防万一某些东西被损坏,不被注意到?

根据我的经验,每种文件types都需要自己的检查来确定是否确实损坏了某些文件。 数据的核心是点和破,决定“腐败”的因素完全取决于文件。 您将需要确定哪些文件types是最重要的,然后确定是否可以合理地创build检查文件types一致性的自动化。 这将是一个艰巨的任务,因为文件types规格会随着时间的推移而变化,而且当您遇到专有格式时,将无法通过编程方式确定损坏情况。

而且,数据损坏只是问题的一部分。 有时文件从人的angular度来看可能是错误的,但从数据结构的angular度来看是一致的。 如果有人错误地编辑文件 – 从腐败的angular度来看,数据是好的。

最终,您需要与业务领导层坐下来,确定公司最重要的数据资产。 然后确定需要保留多久以及召回的水平。 他们是否希望在过去四年内将精细的时间点恢复到四年? 也许只有某些文件,而不是其他人?

考虑到您只有2TB的备份空间,使用LTO4磁带的GFS磁带备份scheme可以让您在磁带相对较less的情况下使用多年。 当然,这完全是对数据​​stream失的压制。 如果你有很多忙,那么你会有更多的磁带。 尽pipe如此,2TB是LTO4甚至是商用磁盘存储器会为保持数年的数据而畏缩的相对斑点。

保护数字资产并非易事。 保持Tums方便。

这是ZFS如此之好的原因之一, 没有更多的数据损坏 。 通过CIFS共享ZFS文件系统非常简单。