Terabytes数据的异地备份

我正在寻找一种方法来创build大约8TB数据的异地备份。 目前我已经将数据分解为2-4TB文件系统,我使用ShadowProtect将数据从SBS 2003服务器备份到Windows 2003备份服务器,并使用每周完整备份和夜间增量备份。

出于一系列原因,我对此解决scheme并不满意。

  • 备份需要很长时间。
  • 要持续超过一周的备份需要大量的空间。
  • 非现场备份到外部硬盘将需要太多的磁盘和太多的时间。
  • 通过互联网进行的异地备份会占用太多的带宽。

我正在寻找的是如果可能的话,有一个本地备份服务器,以容纳许多快照,而不像faubackup似乎能够存储重复的数据。 另外,我希望能够跨越一组外部磁盘创build的备份,而不会有重复的数据,因为文件系统比我能放在一个磁盘上的文件系统大。

纠正我,如果我错了,但据我可以告诉这是一个不可能的情况跨越更多的文件系统的新数据比faubackup本身使用,因为它使用硬链接。

我也一直在考虑使用openfiler来实现相同的目标,但还没有想过。

其他人如何应对这种大量数据的异地备份。

编辑
对于更多的背景信息,我们是一个相对较小的(大约15名员工)地质公司,我们基本上采集了大量的数据集并使其可读。 项目经常会遇到数百Gig。 尽pipe有非现场备份的重要性,但我将无法获得购买自动加载磁带机所需的资金,而这种自动加载机将会处理我们正在查看的数据。 我已经试过,基本上被告知,一定有另一种方式,我必须find它。

我们有两台服务器。 用作备份服务器的SBS2003服务器和Windows 2003 R2服务器。 这两台机器都有一个20TB的RAID6arrays,可以容纳我们的数据。 在任何特定的日子以及常规的东西,都会对许多非常大的文件进行微小的修改。

我们有大约1TB的数据,并使用定制的rsync脚本每晚备份所有数据。 关于rsync的好处是,它只复制修改过的字节(不是整个修改后的文件)…加上它在传输之前压缩数据。

在我们以前的系统中,我们不得不将磁带和磁盘放在家中,因为每天大约有200GB的文件被修改。 但是使用rsync只能传输这些文件中1GB左右的修改数据,并压缩到200MB左右。 因此,我们可以在几分钟内将所有内容备份到T1上,而且在一个非常繁重的维护期内,一小时内就可以将其备份到远程站点。 这些脚本还使用Linux硬链接来维护30天的完整存档(而不是增量),仅使用2-4TB(压缩前)的空间。 因此,我们最终能够在几秒钟内恢复存档数据,同时还保持了非现场存储。

幸运的是,磁盘驱动器空间已经跟上了我们公司的增长速度……我认为我们在两个地方的总体解决scheme的成本约为1000美元

这正是大多数公司对磁带进行备份的原因(比磁盘成本更低的介质,写入速度更快),然后将磁带物理移动到异地。

您可以让IT人员把磁带拖到家中,或者有数据存档公司将来到您的公司,拿起磁带并将其存储在安全的设施中。 恢复就像呼叫公司带上磁带,装载和访问数据一样简单。

互联网对很多事情都有好处,但是移动数据的速度并不是其中之一。 请参阅杰夫关于带宽经济学的文章,其中引用了吉姆·格雷的优秀微软研究白皮书TeraScale SneakerNet (.DOC)

您正在寻找提供重复数据删除function的存储系统: http : //en.wikipedia.org/wiki/Data_deduplication

这并不能免除您以某种方式从网站上获取数据的要求,但这绝对有助于降低热备份/实时备份所需的空间量。

你可能想要考虑backuppc,它必须运行在一个Linux的盒子,但它存储的文件使用硬链接,所以如果文件没有改变,因为最后一个公司/完整然后它只是硬链接到它(所以要存储的空间量4x完全备份比其他备份系统小得多)它可以通过samba备份Windows机器,显然也支持linux / unix / mac

backuppc的

我们在另一个数据中心有一个副本SAN,可以从中进行备份和备份。

由于您的数据很容易被分割成更易于pipe理的分立单元(项目或工作,或任何您select调用它),为什么不把它们复制到便宜的USB驱动器上并将它们存储在某个地方呢? 你可以获得3TB以下的驱动器,价格低于200美元或更小的驱动器。