将大文件复制到局域网上的多台机器上

我有几个大文件,我需要从一台Linux机器复制到大约20台其他Linux机器,所有这些文件都在同一个局域网上尽可能快地复制。 什么工具/方法将是最好的复制这些文件,并指出这不会是一次性副本。 这些机器永远不会连接到互联网,安全性不是问题。

更新:

我问这个问题的原因是因为(据我了解),我们目前正在使用scp以串行方式将文件复制到每台机器,而且我被告知这是“太慢”,正在寻求更快的替代scheme。 据我所知,试图并行scp调用只是由于硬盘寻求进一步放缓。

BitTorrent的。 这就是Twitter如何在内部部署某些内容。

http://engineering.twitter.com/2010/07/murder-fast-datacenter-code-deploys.html

如何UFTP ,它使用多播通过UDP传输文件到多个客户端一次。 不是每个人,我不是专家,但它听起来像它做你想要的。

你有没有试图用rsync复制这些数据? 如果您有1 Gbit LAN或更快的速度,那么复制4 * 20 GB应该不成问题。

这个副本多久出现一次? 如果要花几分钟才能完成,这有什么关系吗?

scp海啸是这样的!

https://code.google.com/p/scp-tsunami/

它通常用于在虚拟化集群上分配磁盘映像,其性能接近BitTorrent,但日常使用起来更简单。

设置一个NFS共享,让每台机器从这个共享的大文件仓库中取出可能是最快的方法(NFS非常快,开销很小)。

您可以将额外的一两个NIC添加到源服务器,并将它们绑定在一起,以提供更好的吞吐量。

实现可以是每个目标服务器上的一个简单的cron作业,每个小时/每天/每个目标服务器盲目地从共享中提取。 你也可以设置一个守护进程轮询新文件; 您也可以将控制会话脚本编写到每个目标框中的SSH(使用密钥对),并指示他们在执行脚本时获取文件。