增量资产备份

我有一个用户上传的图像大应用程序。 存储量每天增加1GB。

我需要以某种方式备份所有图像。 每天备份所有图像可能会成为一个大问题(大数量,networkingstream量等)。

备份这类数据的最佳方法是什么? 哪些存储是首选(FTP,S3,本地服务器等)? 哪种备份策略最好?

情侣指针:

首先,快照。 任何备份操作(可能是增量备份)都需要花费大量的时间来完成。 除非您可以在备份发生时locking商店,否则可能会遇到数据不一致的问题。 我build议你调查你的FS和系统拍摄快照的可能性。 您locking商店,拍摄快照(应该非常快速)并解锁商店。 您的快照现在包含您商店的一致副本,可以按照您需要的任何速度进行备份。 查找Windows域中的卷影副本,Linux中的LVM快照等。

其次,复制。 同样,任何备份工作都可能会从商店中拿走大量的IO和CPU性能。 您的主应用程序的性能将受到影响,或者您的备份将需要很长时间才能完成。 如果您可以将存储系统不断复制到第二个系统,那么您将能够备份而不用担心影响您的现场生产系统。 这个副本也可能有助于防止停机(如果主存储失败,切换到副本)。 在使用复制时,可以在复制系统中执行快照 – 只需在备份时暂停复制。

第三,一旦你有复制和快照,你只需要find一个合理的备份方法。 带宽,存储和您的要求。 首先,找出恢复过程中你想要走的路线。 您是否需要像以前一样的存储副本? 8小时前? 你需要回去恢复上周的文件吗? 上个月? 去年?

存储的完整副本需要多长时间? 每日增量的副本需要多长时间? 这限制了您多久可以进行完整备份和增量备份。 如果您没有从商店中删除数据,则复制副本可能就足够了。

最后,如果你正在移动大量的数据,你可能正在使用SAN。 并有服务合同。 你的SAN可能有一些内置的处理备份,或者至less支持它的人应该给你更具体的想法…

你想以编程方式删除旧版本的资产?

如果是这样,你可以build立一个机制,根据特定的参数存档旧的图像。 这些文件可能会被压缩到从机器上删除的档案。 较旧的版本可以被标记为存档,并且在某些情况下将其存储在远程/物理地存储在盘/磁带等上以供稍后检索。