移动大量文件的最佳方法是什么?

我有大约6TB的文件,我需要从一台服务器移动到另一台。 我尽了最大的努力,通过像下面的FTP移动,但连接死了很多,经过一定程度的进展,它甚至断开之前,它甚至恢复移动文件我认为花费太长的时间来比较文件实际传输之前,然后计时出。

~/ncftp-3.2.3/bin/ncftpput -R -z -v -u "user" -p "password" upload.server.net /local/dir/ remote/dir/ 

我试图让远程服务器给我访问SSH,所以我可以设置一个rsync,但有什么更稳定的,我可以做的ftp,所以也许它会尝试在它自己恢复,而不重新编译整个文件列表?

如果你唯一的访问是通过FTP,你可能想看看lftp (应该在大多数发行版)。

lftp支持在失败时自动重试,并且还有一个镜像选项,它听起来像匹配你想要做的。

我会使用rsync。 如果连接丢失,它会比较源和目标,并从它离开的位置进行同步(假设大量的中小文件,而不是2 x 3 TB :))。

或者启动apache并使你的文件dir root并执行recursionwget,也可以工作,你只需要告诉它忽略本地已经存在的文件。

你不说这个项目的界限是什么。 我自己在我的情况下将通过备份来源的数据,并使用我的备份软件恢复到目的地。

如果你不能做这样的事情,那么为什么不尝试在“批量”中移动数据,如果可能的话,如果数据被分割成多个文件或目录?