空间有效的方式来存储大量的类似文件

我有大量〜1 GB的文件(数据库转储文件,定期采取)。 现在我只是将它们全部存储在一个目录中,每个文件都被压缩。 我们正在耗尽磁盘空间,并希望继续存储旧的。 忽略了在问题上花钱购买更多磁盘的显而易见的解决scheme,是否有任何方法将这些存储在空间有效的方式?

每个文件都是一个数据库转储文件,每半小时一次,因此应该有很多重复的内容。 是否有一些程序/过程会使这更容易。 我不想尝试新的文件系统。 我玩git&git-repack,但是使用了大量的内存。 有什么简单的吗?

outlook未来,您可以对数据库进行增量备份,但恢复起来需要更长的时间,而且如果需要进行审计,那么执行时间点恢复要复杂得多。

正如你所说,你现在可以每30分钟完整一次,你可以每30分钟增加一次,也可以只保留6或24小时,而且可以长期增加。 (理论上,如果您需要恢复速度,那么很可能会成为灾难恢复scheme,因为您需要最新的scheme)。

如果您对增量备份或其他备份策略有疑问,请尝试数据库堆栈交换 。

除增量备份外,还可以将较旧的备份移动到近线归档存储。 这可能包括磁带,外部硬盘驱动器,光学媒体(有警告)等的组合。

我的经验是,有方便的工作备份是足够好的。 如果您需要更快地访问备份,则可以购买更多硬件或自动执行某些检索步骤以加快速度。

您可以考虑重复数据删除文件存储,因为您的数据应该有大量的重复信息。 但是,如果您使用主要供应商提供的硬件解决scheme,则会花费更多的成本,而不仅仅是额外的磁盘成本。 好消息是有几个开源的举措,其中之一就是Opendedup 。 还有几个,但我没有他们方便的信息。

另一种select是使用已经使用某种重复数据删除的备份软件/服务。 目前我们正在使用基于Asigra软件的解决scheme,并且每天都备份整个VMware虚拟机映像,并且每天保留30天,实现1:10的数据缩减。