DFS-R或WAFS在远程站点之间同步1TB文件

我们有1TB的文件,我们希望在三个位置保持同步。 这些数据包含大约150万个文件,平均每天增长100MB。

第一个位置是昆士兰州的一个办公室,它有一个20000 / 1024kbps的专用ADSL2 +同步连接,连接到10MB链路上的数据中心中的同位置服务器。 这个远程站点是阿根廷的一个办事处,处于SDSL 512/512链路上。 这可能会升级到最大2Mb SHDSL。

我们想要的结构是:QLD办公室< – > QLD数据中心(仅用于非现场备份)< – >阿根廷办事处

我从QLD办公室和阿根廷办事处的speedtest.net跑了一些速度testing:

QLD办公室上传速度:0.95Mb / s

阿根廷办公室上传速度:0.51Mb / s到本地服务器,0.38Mb / s到QLD服务器:(

我们不能使用标准的同步软件(rsync,viceversa等)来保持这个数据同步,因为时区差异使它非常复杂,所以我们正在考虑分布式文件系统解决scheme。

我们正试图找出更可行的方法 – 将Microsoft DFS-R与Windows 2008服务器或第三方WAFS提供商(如GlobalScape WAFS)结合使用 。

我试图find一个解决scheme,将执行以下操作:

  1. 通过将外部硬盘发布到远程站点等来初始化文件的能力
  2. 在设置后手动填充的能力 – 也就是说,如果我们需要添加200GB的文件,我们可以再次使用这些数据发布驱动器,并手动添加到所有站点
  3. 能够正确计算远程站点的大时区差异
  4. 离线文件的可用性 – 即如果互联网连接断开,我们仍然可以查看/编辑文件
  5. 无论是同步压缩还是文件压缩 – 我们所处理的大量文件都是大的ascii文件,这些文件很容易压缩,所以压缩比较好。
  6. 文件locking会很好,但并不重要,因为这些文件在不同的时区
  7. 用上面描述的慢速互联网链接完成上述所有function的能力。

我看了GlobalScape WAFS,看起来很有前途,因为与大多数DFS不同,你可以将它指向文件所在的位置,而不是将它们复制到共享中,但是单独为软件提供3个代理的报价为10kUSD,我想知道是否有是更好的解决scheme。

微软的DFS-R也看起来不错,但是我找不到很多关于它是否能通过非常慢的链接处理这么多文件的信息。

任何build议/方向指向我将不胜感激

我们目前使用Server 2008 DFSR来传输900 GB的文件,每天更改大约3 GB。 我们的拓扑结构是一个单轮毂,有三个辐条。 每个辐条在一个4Mb / 1Mb的ADSL连接上,相隔大约300-500KM。 我们的中心站点有10Mb / 10Mb连接。

除了缺less文件locking之外,在一些初始configuration问题之后,DFSR一直运行顺利,我们对此非常满意。 我强烈build议使用Server 2008或Server 2008 R2 for DFSR,因为有许多改进,这将有助于您的慢速链接。

回答你的问题:

  1. 您可以使用远程站点上的外部硬盘驱动器对数据进行预先sorting,以减less初始复制。
  2. 我敢肯定,你不能以预种子的方式(你的200 GB的例子)添加额外的信息,因为一旦初始化复制完成,它将成为一个多主拓扑。
  3. 时区不应该有任何影响,特别是如果您不修改默认的复制计划。
  4. 脱机访问 – 本地副本存储在每个分支服务器,所以如果WANclosures,您将有权访问它。 WAN恢复后,复制将继续进行。
  5. DFSR使用RDC并只复制更改,所以您将看到传输大小的大幅减less。 我们当前的复制报告节省了57.88%,从实际176.55 GB的实际大小收到了74.36 GB。 这是自上次服务重新启动以来。
  6. DFSR不支持文件locking,但是可以通过事件日志来监视冲突。
  7. 虽然不理想,但它应该与您的慢速链接,因为我们有类似的链接。

我不会推荐Globalscape WAFS,根据这篇博文的最后一篇评论(我的): http : //blogs.technet.com/b/askds/archive/2009/02/20/understanding-the-lack-of-分布式文件locking在dfsr.aspx?CommentPosted = true&PageIndex = 2#comments可能从那时起的产品已经改变,但只是几个月。

用dfsr在前台执行以下操作
http://support.microsoft.com/kb/947726

文件locking不会发生与任何进程非常缓慢的链接。 如果您不使用dfsr,还可以查看steeleye获得更便宜的复制scheme!

你可能想看看Peer Software。 http://www.peersoftware.com&#x3002; 他们的解决scheme可以提供您想要的产品,比Global Scape产品更为强大,而且价格更便宜。

关于Globalscape WAFS,我学到了一些东西:

  1. 尽pipe没有文档logging,但是他们的支持表示要将复制作业保持在250 GB和300K以下的文件。 每个代理最多可以有60个作业。
  2. 该软件目前只有32位,这造成了上述限制,因为系统只能在内存中保留2GB的索引文件。 如果它是64位的,它会扩大得多。
  3. 该软件似乎是单线程的,这意味着它只会利用一个CPU核心。 该软件有时会占用大量CPU资源,如果能利用多个CPU内核,将会非常有利。