高效的并行远程文件复制

我正在寻找一种方法来分发一个大文件夹(〜40-60g)到多个服务器(4个或更多)。 循环中的一个简单的scp命令已经在工作了。 我想有一个更快的方法,但简单地并行这个command &wait (或GNU并行 )不会有太大的改善,因为带宽是有限的。 另外我想要一个简单的方法,不应该涉及分布式文件系统设置。

我已经读过nfs会比scp或者rsync更快,但是我认为如果有3个以上的目标服务器,也就是“树型拷贝”机制 ,那么更快的版本是可能的:从源代码复制到服务器A和B,然后从A复制到C和D,并从B复制到E和F等等。

  C ... / A / \ D ... / source -- E ... \ / B \ F ... 

是否已经有一个工具,我可以提供的IP或主机名,它这样做有效的“树” – 复制? 或者一个简单的脚本,通过scp,pssh,sshfs或类似的方式吗?

BitTorrent或其他点对点文件共享。 可能是一些设置跟踪器的工作,但它会使用每个主机的上传。

您将需要testing以查看在您的环境中更快的速度。

如果服务器是全球性的(即不在您本地的10 Gbpsnetworking上),那么https://storj.io也可能是一个解决scheme。