我正在使用rsync上传/下载一个非常大的文件（20Gb）。 我知道 – 进展选项，但它在我的情况是只是最后显示结果。 我的问题是，在一些不稳定的连接 – 我不知道它是否仍然下载/上传或出了什么问题。 有没有办法显示单个文件的进度条？ 类似于wget默认做的事情？ 谢谢！
这看起来与这个有关，但有些不同。 两个公司站点之间有这个WAN链路，我们需要传输一个非常大的文件（Oracle dump，〜160 GB）。 我们有100 Mbps的带宽（已testing），但看起来像单个TCP连接，由于TCP工作方式（ACK等）的原因，无法将其最大化。 我们testing了与iperf的链接，当增加TCP窗口大小时，结果发生了显着的变化：在基本设置下，我们得到〜5 Mbps的吞吐量，而更大的WS我们可以达到〜45 Mbps，但不会超过此值。 networking延迟约为10毫秒。 出于好奇，我们使用多于一个连接来运行iperf，并且我们发现当运行其中的四个连接时，它们确实会达到〜25 Mbps的速度，填充所有可用的带宽; 所以键看起来在运行多个同时传输。 使用FTP，情况会变得更糟：即使使用优化的TCP设置（高窗口大小，最大MTU等），单次传输的速率也不能超过20 Mbps。 我们尝试同时FTP一些大文件，事实上比传输单个文件好得多。 但罪魁祸首成为磁盘I / O，因为很快就会从同一个磁盘瓶颈中读取和写入四个大文件; 同样，我们似乎也不能把这个单一的大文件分割成小的文件，然后把它合并回去，至less在可以接受的时候是不行的（显然我们不能把文件拼接/合并的时间相当于转移它）。 这里的理想解决scheme是一个multithreading工具，可以同时传输文件的各个块; 像eMule或者BitTorrent这样的点对点程序已经做到了，但是从单一来源到单个目的地。 理想情况下，该工具将允许我们select使用多less个并行连接，当然也可以优化磁盘I / O，避免在文件的各个部分之间跳跃（太）。 有谁知道这样的工具？ 或者，任何人都可以提出一个更好的解决scheme和/或我们已经没有尝试的东西？ PS我们已经考虑过支持磁带/磁盘并将其发送到目的地; 如果广域网并没有削减，这将是我们的极端措施，但正如塔南鲍姆（AS Tanenbaum）所说的那样，“永远不要低估满载录像带的旅行车的带宽。”
我正在做我的桌面备份到远程机器。 我基本上是做rsync -a ~ example.com:backup/然而，有大量的大文件，例如维基百科转储等大多数文件我关心一个很小的，如Firefox的cookie文件，或.bashrc 。 是否有一些调用rsync，将排除超过一定大小的文件？ 这样我可以复制所有小于10MB的文件，然后做所有的文件。 这样我就可以对最重要的文件进行快速备份，然后对其他文件进行更长时间的备份。
我使用rsync越多，我越发觉到这是一个瑞士军刀的文件传输。 有这么多的select。 我最近发现你可以–remove-source-files ，当它被复制的时候，它会从源文件中删除一个文件，这使得它更有趣一些，而不是复制程序。 🙂 你最喜欢的rsync提示和技巧是什么？
我目前有两个CentOS服务器。 我需要知道如何以及如何以最快的方式“tar”图像目录和SCP？ 这是我刚才build议的最快捷的方式，因为沥青正在永久…我跑了命令： tar cvf imagesbackup.tar images 而且我只是把它翻过来。 让我知道如果有更快的方法。 我有远程/ SSH访问这两台机器。
我正在将数据从一台服务器归档到另一台服务器。 最初我开始了一个rsync工作。 花了2周的时间才为5TB的数据创build文件列表，另外一个星期要传输1TB的数据。 然后我不得不杀了这个工作，因为我们需要在新的服务器上停机。 我们已经达成一致意见，因为我们可能不需要再次访问它。 我正在考虑把它分成500GB大块。 之后我tar它然后我要通过ssh复制它。 我正在使用tar和pigz但它仍然太慢。 有没有更好的方法来做到这一点？ 我认为这两个服务器都在Redhat上。 旧服务器是Ext4，新服务器是XFS。 文件大小从几kb到几MB，在5TB中有2400万jpeg。 所以我估计大概有6千万到8千万的15TB。 编辑：在与rsync，NC，焦油，mbuffer和pigz玩了几天之后。 瓶颈将是磁盘IO。 由于数据分布在500个SAS磁盘和大约2.5亿个JPEG文件中。 但是，现在我了解了以后可以使用的所有这些好工具。
我需要在两个服务器（Ubuntu）之间传输大量的mp3。 巨大的我的意思是大约一百万个文件平均30万。 我试着用scp但是大概需要一个星期。 （约500 KB / s）如果我通过HTTP传输单个文件，我得到9-10 MB / s，但我不知道如何传输所有这些文件。 有没有办法快速转移他们所有的人？
我试图使用robocopy将单个文件从一个位置传输到另一个位置，但robocopy似乎认为我总是指定一个文件夹。 这里是一个例子： robocopy "c:\transfer_this.txt" "z:\transferred.txt" 但是我得到这个错误： 2009/08/11 15:21:57 ERROR 123 (0x0000007B) Accessing Source Directory c:\transfer_this.txt\ （注意在transfer_this.txt的结尾处） 但是，如果我把它当作整个文件夹： robocopy "c:\folder" "z:\folder" 它的工作原理，但我必须转移文件夹中的所有内容。 我怎样才能用robocopy传输单个文件？
我正在将我的服务器从美国迁移到英国，从一个数据中心迁移到另一个数据中心，我的主机说我应该能够达到每秒11兆字节。 操作系统是Windows Server 2008的两端。 我的平均文件大小约为100MB，数据分成5个2TB驱动器。 什么是推荐的方式来传输这些文件？ FTP SMB Rsync / Robocopy 其他？ 我不太在乎安全性，因为这些都是公共文件，只是想要一个能够推动全部11 MB / s传输速率的解决scheme，以最小化总传输时间。
我必须复制大约1.8TB的大型目录树。 这都是本地的。 出于习惯，我会使用rsync ，但是我不知道是否有很多要点，如果我宁愿使用cp 。 我很担心权限和uid / gid，因为它们必须保存在副本中（我知道rsync是这样做的）。 以及像符号链接的东西。 目的地是空的，所以我不必担心有条件地更新一些文件。 这都是本地磁盘，所以我不必担心ssh或networking。 我之所以被rsync吸引，是因为rsync可能比我需要的要多。 rsync校验和文件。 我不需要这个，担心这可能需要比cp更长的时间。 那么你认为， rsync或cp ？