我需要将一个20 GB KVM虚拟磁盘文件从一个实验室服务器传输到另一个实验室服务器，将一个CentOS 6.5虚拟机的根文件系统存储起来。 大的文件大小和我曾经压缩这样的虚拟磁盘文件到几百兆字节的事实使我本能地使用scp进行压缩，但是我惊讶地发现传输速度相当低。 然后我尝试了bzip2与ssh和cat组合，并被吓了一跳。 以下是方法和平均吞吐量的总结。 scp -C vm1-root.img [email protected]:/mnt/vdisks/ ，11 MB / s。 bzip2 -c vm1-root.img | ssh -l root 192.168.161.62 "bzip2 -d -c > /mnt/vdisks/vm1-root.img" bzip2 -c vm1-root.img | ssh -l root 192.168.161.62 "bzip2 -d -c > /mnt/vdisks/vm1-root.img" / s。 这更低的结果提示在网上search。 scp -c arcfour -C vm1-root.img [email protected]:/mnt/vdisks/ ，13 MB / s。 在serverfault上的一个答案中提到了-c […]
我遇到了一个问题，我正在寻找一个新的安全协议/客户端/服务器，在1Gb / s光纤链路上速度更快 – 让我告诉你这个故事… 在距离250英里左右的距离（不是暗光纤，而是专用的点对点链路，而不是网格），我有一对冗余的，多path的1Gb / s链路。 在客户端，我有一台HP DL380 G5（2个双核2.66Ghz Xeon，4GB，Windows 2003EE 32位），在服务器端有一个HP BL460c G6（2个四核2.53 Ghz Xeons，48GB，Oracle Linux 5.3 64位）。 我需要每周从客户端向服务器机器传输大约500 x 2GB的文件 – 但是传输的NEEDS要安全。 同时使用iPerf或普通FTP我可以得到〜80MB / s的传输相当一致，这是很好的。 使用WinSCP或Windows SFTP似乎不能达到〜3-4MB / s，此时服务器的CPU占用率大于3％，而客户机的CPU0占用大约30％。 我们已经尝试编辑各种TCP窗口大小，但很less成功。 两端连接到相当低使用率的思科Cat6509与Sup720的。 我可以用新机器replace客户端机器和/或将其移动到Linux – 但这需要时间。 显然，这些单线程安全的Windows客户端正在引入太多的延迟来进行encryption。 所以有几个问题/想法; 是否有任何更高性能的Windows安全协议或客户端软件，我可以尝试？ 只要它能在Windows和Linux之间工作，我就可以使用协议诊断工具。 我应该使用硬件来执行encryption，无论是在客户端还是在networking部分？ 如果是的话，你会推荐什么？ 我不相信只是交换服务器会更快，CPU只有30％，但是再次高于我预期的负载 – 在客户端迁移到Linux可能是一个更好的主意但相当具有破坏性。 我错过了一个把戏吗？ 提前致谢。
我必须将两台具有较大SAN附件的服务器迁移到新的VMWare环境中。 编辑：我必须提供一些额外的情报，因为我有关于VMWare解决scheme的好答案。 那么，由于服务器上存在一些技术限制，我无法在新系统上附加以前的EMC LUN。 我无法使用VMWare Converter在我的新VM上克隆缺less的卷，因为VMWare Converter无法看到EMC PowerPath伪设备，而且以前的pipe理员使用这些伪设备来构buildLVM2和/或ASM卷。 这两台物理服务器连接到一台旧的EMC²CX-340 SAN，并处理5TB的数据。 这些5TB的数据是小型的PDF，我需要通过我们的1Gbit / s LAN将它们传输到新机器上。 我已经尝试使用rsync ，但它真的很慢，对RAM和CPU性能有很强的影响。 我尝试在TAR上使用NC，但传输速率非常慢，因为在1Gbit / s链路上的平均吞吐量约为50MB / s，stream量几乎为零。 你可以给我一些build议或经验，这种迁移的经验，你如何设法在合理的时间内正确完成？
我正在寻找一些软件，将提供类似于SendThisFile.com的服务。 当用户尝试发送超出邮件服务器限制的文件（我们自己的或收件人）时，我的用户通常会转向这样的服务。 我已经提供了为用户设置FTP帐户，但是我们发现有些客户在loginFTP站点时遇到困难。 我可以用PHP编写一些东西，但是感觉有点像我会重新开始。 其他公司正在做什么来将大量数据传输给客户或合作伙伴，因为电子邮件的限制是一个限制，而VPN不是一个可行的解决scheme？
假设我有一个包含两个文件的目录，两个文件都是相同的，而且相当大（例如2GB）。我想将该目录rsync同步到远程主机。 据我了解（我可能是错的），rsync计算校验和的文件。 当然，如果它看到2个文件具有相同的校验和，它可以只复制第一个文件，然后在远程主机上做第二个文件的本地副本？ 这会使它更快，不是吗？ 在类似的说明，在复制之前不rsync散列所有的远程文件？ 如果看到与要传输的文件具有相同散列的不同文件，则可以在远程主机上执行本地副本。 rsync支持这种事情吗？ 有什么方法可以打开它吗？ 有没有一种类似于rsync的工具，将做这种基于散列的本地副本？
我在不同的数据中心有一个木偶大师和奴隶。 它们之间的延迟是〜40ms。 当我在奴隶上运行“木偶代理 – testing”来应用最新的清单时，需要360秒才能完成。 经过一番挖掘，我可以看到减慢的主要原因是文件传输。 似乎要花费大约10秒才能传输每个文件。 这些文件只有很小（configuration文件），所以我不明白为什么他们会花这么长时间。 这是我清单中文件的一个例子： file { "/etc/rsyncd.conf" : owner => "root", group => "root", mode => 644, source => "puppet:///files/rsyncd/rsyncd.conf" } 运行puppet-profiler我看到这个： 10.21s – File[/etc/rsyncd.conf] 也似乎我不能一次使用puppet更新多个服务器。 如果我同时运行两台服务器，那么木偶需要两倍的时间。 我已经改变了木偶大师从使用webrick到杂种，但这似乎没有帮助。 这使得痛苦的部署变化。 一个简单的configuration更改可能需要一个小时才能推出到所有服务器。
我正在寻找一些多播文件传输软件。 你有什么build议吗？ 必须是“快速实施”，即没有Tivoli或其他需要大量基础设施的东西。 必须在Linux上运行。 请注意，我不是在寻找克隆软件，我正在寻找将一堆大文件移动到同一局域网上的一堆系统。
我正在制定一个部署脚本，用于打开我的代码目录，在当前date和时间之后将tar文件命名，将其推送到服务器，将其解压到相同名称的目录中，然后交换“当前“符号链接指向新的目录。 这意味着我较旧的部署留在时间戳目录（至less直到我删除它们）。 tar文件大约5MB，传输需要将近一分钟。 我想加快速度。 我假设每个新的tarball在结构上都与之前的tarball非常相似（因为我经常只是在部署之间更改几行源代码）。 有没有办法利用这个事实来加快我的上传使用rsync？ 理想情况下，我想说“嗨rsync，上传这个本地文件称为2009-10-28-222403.tar.gz到我的服务器，但它只是一个不同的文件2009-10-27-101155.tar .gz已经在那里，所以试着只是发送差异“。 这是可能的，还是有另一种工具，我应该看？
我试图将文件夹的所有子目录移动到同一台服务器上的另一个共享。 如果我做一个mv *，我将用尽空间，因为文件夹不会被删除，直到所有的文件夹被转移。 所以我想创build一个简短的脚本来循环每个脚本。 有没有人可以看一个例子？ 我已经四处搜寻，但无法find我正在寻找什么。
我已经看过所有以前的类似问题，但答案似乎遍布全球，没有人移动大量数据（100 GB与10 TB不同）。 我有大约10TB，我需要从一个RAIDarrays迁移到另一个千兆以太网，免费的百科全书， XFS文件系统。 我最担心的是中途转移，无法轻松恢复。 速度会很好，但确保转移更重要。 通常情况下，我只是tar和netcat，但是我从最近的RAIDarrays已经是超级片状，而且我需要能够恢复和恢复，如果它中断过程。 我应该看看rsync ？ 再看看这个，我认为rsync可能太慢了，我想避免这个需要30 天或更长时间。 所以现在我正在寻找关于如何监视/恢复netcat传输的build议。