快速,可靠的数据传输到中国

我们是一家小公司,不久的将来我们需要在欧洲和中国之间传输相当数量的数据(每次10GB +)。

正如许多人所经历的那样,来往中国的互联网连接可能是相当不可靠和缓慢的,而且没有任何明显的原因。 例如,通过FTP向中国发送数据通常效果很好,但是在另一个方向可能会很痛苦。

目前,我们正在研究新的方式来实现双向高转移率。 到目前为止,我们尝试过:

  1. FTP(见上)
  2. 通过VPN服务的FTP(通常比直接连接慢)
  3. F2F(像Retroshare或Freenet – 慢!!)
  4. Aspera(快但很贵 !)
  5. BitTorrent(无法访问的terminal节点,我们不能configuration防火墙的B / C)

我们想尝试一下:

  1. 存储(例如Amazon S3,Google存储) – 这些服务是否始终可靠地从中国内部获得?
  2. 点对点VPN(目前不可能,networking的B / C,见上)

我特别感谢以前曾经遇到这种问题的人。

我会build议使用rsync做这种转移。 它可以使用ssh来encryptionstream量(所以你不需要使用一个单独的VPN),压缩stream(这可以是非常有效的,这取决于你的数据types),并可以重新启动传输,如果它们失败(它使用滚动校验和以查看转移失败的位置以及从哪里重新开始)。

我使用了以上内容(因为我的/大多数机器上的rsync客户端默认使用ssh):

 rsync -avz <local file> username@hostname:/path/where/to/place/file/<remote file> 

您可以使用--progress在terminal上查看传输进度如何。 通常它是ssh的,使用本地机rsync客户端,但也有一个rsync守护进程。 我从来没有使用它,但值得研究,如果你想要一个实际的守护进程类似于ftpd

由于它使用SSH,如果防火墙将其locking,则还可以更改其使用的端口。 也就是说,你不必在22端口上进行ssh监听(实际上我不想避免在互联网上随机的人扫描我的SSH)。

它通常用于Unix系统(包括Mac),但如果您需要在Windows上使用它,也可以使用Cygwin进行安装。

如果你想要一个实际的服务,我使用rsync.net ,显然,它提供的存储可以轻松地rsync数据。 他们在瑞典拥有一个欧洲数据中心,可以满足您的需求,不会限制进/出交通速度(尽pipe检查小字)。

我build议你testing一个磁盘或拇指驱动器的实际运输到中国,以了解通过运输公司发送数据需要多长时间和多less时间。 从数据的angular度来看,带宽是巨大的。 您可以encryption并发送多个货件以提供冗余和保护,而且您没有任何基础设施可以维护。

最后,你们中的一些人要求知道我们所定下的是什么。

虽然,我们已经尝试过几乎所有的build议解决scheme,使用Aspera的专有协议和软件似乎为我们的目的做了最好的工作。

也许其他人还知道更好的东西,并希望分享?

我想你需要分布式文件系统。

Ceph是一个自由软件存储平台,在单个分布式计算机集群上实现对象存储,并为对象,数据块和文件级存储提供接口。 Ceph主要针对完全分布式操作,没有单点故障,可扩展到exabyte级别,并且免费提供。

Ceph使用商品硬件复制数据并使其容错,不需要特定的硬件支持。 由于其devise,该系统既自我修复又自我pipe理,旨在最大限度地减lesspipe理时间和其他成本。