我们已经使用tar来备份和压缩(gzip)我们的文件服务器上选定的目录,直到最近才有很好的结果。
我们的每一个备份都存储在镜像(RAID)硬盘上,并同时上传到Amazon S3存储桶以进行非现场存储。
由于近期我们的数据增长迅速,我们的备份也是如此。 本周,我们的备份上传一直在全天候运行,只是为了同步最近7天的新备份,但仍然没有完成。 获得更好的连接可以解决这个问题(目前我们不能这样做),但是我认为应该更好地创build一个真正的解决scheme,而不是寻求解决方法。
有什么替代策略,使我们远离多位数字的GB文件,仍然让我们使用tar ,我们可以用来备份我们的目录,这将减less同步文件所需的带宽量?
这里有很多未知的variables。 备份的大小,带宽限制是什么,是否需要增量备份或完整备份等。
无论如何几点build议:
使用压缩(-C选项)时通过ssh使用rsync。 Rsync将大大减less每个备份传输所需的数据量。 压缩也将减less所需的带宽量。
如果带宽有限,请考虑备份到本地磁盘。 如果你想异地备份,你可以随时邮寄给他们。 随着存储空间的爆炸式增长,你不应该把这个作为一个有效的select来消除,因为带宽并没有增加。
我注意到你的增量标签。 Amazon S3存储桶是否提供对快照的支持? 这将涉及增量方面。
这是一个商业build议。 仙人掌Lone-Tar是一个完整的备份套件,即使在写入磁带时,也可以生成可提取并可使用tar列出的归档文件。 这很方便,因为您不需要该软件来恢复归档。 这是我的独立Linux服务器备份的解决scheme。
Lone-Tar现在有一个在线组件,可以与捆绑的非现场存储包或远程Linux服务器集成。 因为这是一个备份软件套件,它维护一个适当的目录,并且可以容纳FULL,INCREMENTAL和SELECTIVE备份。
在ssh上使用rsync。 如果你想保留历史版本,你可以设置-b和相关的选项。 如果你已经结婚了,你可以使用-z标志,如果你还没有压缩的话。 您可以使用dump命令利用文件系统上的“归档”位,以便像典型的rsync使用一样,只复制自上次转储或同步以来发生更改的文件。