Articles of rsync

如何防止在使用nfs mount安装rsync时消除错误?

我正在将文件从Ubuntu服务器移动到Snow Leopard服务器。 Ubuntu服务器的NFS共享大约6TB,我想克隆到雪豹服务器。 我在Snow Leopard服务器上安装了nfs共享,然后运行 rsync -av /Volumes/FromUbuntu /Volumes/LocalCopy 它复制大约100GB后,它抱怨文件已经消失。 我假设由于某种原因,NFS链接将陈旧? 什么可能导致这个? Ubuntu服务器没有崩溃,并没有我知道的连接问题。 我不介意反复运行到rsync命令,直到复制完成,但它只需要约6个小时的rsync,使其文件列表。 有什么build议么? 通过SSH进行rsync会更快吗? 谢谢! (PS:我试过只是使用'cp -arv'似乎没有失败,但根据Mac上的networkingstream量监视器,似乎需要两倍的时间来rsync复制文件rsync之后build立其文件列表?) 更新:我试图从SSH服务器到Ubuntu服务器的ssh通过rsync,它似乎已经快得多(创build一个文件列表并花费不到两个小时,并开始传输,当从NFS安装rsyncing大约六个小时,只是为了build立最初的文件列表)。它肯定看起来像在Mac上安装NFS共享有一些问题。 有没有人有这个问题? 那么反过来,在Ubuntu客户端的Mac上安装nfs共享呢? 我打算在Mac上为Ubuntu客户端托pipe一个NFS共享,但现在我感到紧张。 感谢您的input!

rsync花费太长时间才能运行

我有一个涉及2台服务器的负载均衡器设置。 这两台服务器相互镜像。 blanacer的主要用途是提供静态文件。 我们称之为服务器A和服务器B. 服务器A将从不同networking上的远程主机检索文件。 那些被检索的远程文件是社区网站的媒体文件,所以rsync需要每隔30分钟运行一次,以使文件保持同步。 其他明智的用户会看到破碎的图像等。服务器A也通过HTTP服务的文件,峰值时间在400MB / S 服务器B将与服务器A上的文件进行rsync同步,为了保持一致性,rsync每30分钟运行一次。 服务器B也通过http服务文件,峰值时间为400MB / S A和B的负荷已经非常高,平均负荷:8.00,8.10,7.68和更多 如何改进我的设置以减less服务器负载并提高rsync效率? 谢谢

带有–hard-links的rsync冻结

我有一个叫做servers的大目录,其中包含许多由rsnapshot制作的硬链接。 这意味着结构或多或less是这样的: ./servers ./servers/daily.0 ./servers/daily.0/file1 ./servers/daily.0/file2 ./servers/daily.0/file3 ./servers/daily.1 ./servers/daily.1/file1 ./servers/daily.1/file2 ./servers/daily.1/file3 … 快照使用rsnapshot以节省空间的方式创build:如果/servers/daily.0/file1与/servers/daily.1/file1相同,则它们都使用硬链接指向相同的inode,而不是每个周期复制一个完整的快照./servers/daily.0/file1/servers/daily.0/file1 我试图用硬链接结构复制它,为了节省目标驱动器上的空间,使用: nohup time rsync -avr –remove-source-files –hard-links servers /old_backups 一段时间后,rsync冻结 – 没有新行添加到nohup.out文件,没有文件似乎从一个驱动器移动到另一个。 去掉nohup并没有解决问题。 任何想法有什么不对? 亚当

Rsync远程到远程

我正在寻找在两台远程服务器之间使用rsync的解决scheme。 这似乎是不可能的。 有谁知道为什么不可能? 我问,因为我认为,如果我知道原因,也许我可以使用另一个工具,使之成为可能。 更新:我有一个虚拟主机在我的主站点上运行n个虚拟机。 我的辅助站点上有另一个pipe理程序,我想成为主服务器的备份服务器。 为了保持这两个文件之间的同步,我发现最好的方法是使用rsync。 问题是我不想在虚拟机上运行我的代码(rsync),因为我希望我的产品less代理。 在这种情况下,我需要添加第三台计算机来运行代码。 现在,我需要在我的主站点和辅助站点之间进行rsync同步,因为rsync不适用于远程到远程服务器。

rsync“操作不允许”

我正试图这么简单的rsync到USB硬盘,命令是 rsync -az –modify-window=2 /home /mnt/exthd/tmp/ 我以root身份运行。 但是我得到了很多错误,这些错误似乎都与权限不足有关: rsync: chown "/mnt/exthd/tmp/home/someuser" failed: Operation not permitted (1) rsync: chown "/mnt/exthd/tmp/home/someuser/.bash_logout" failed: Operation not permitted (1) rsync: chown "/mnt/exthd/tmp/home/someuser/.bash_profile" failed: Operation not permitted (1) rsync: chown "/mnt/exthd/tmp/home/someuser/.bashrc" failed: Operation not permitted (1) rsync: chown "/mnt/exthd/tmp/home/guest" failed: Operation not permitted (1) rsync: chown "/mnt/exthd/tmp/home/guest/.bash_logout" failed: Operation not permitted […]

如何使用Rsync从Windows到Linux设置文件/文件夹权限

我想使用Rsync将大量文件/文件夹从Windows传输到Linux。 在linux服务器(目的地)上,我希望将文件权限设置为644,将文件夹权限设置为755.如果可能,我希望为所有文件/文件夹设置root.root。 我已经尝试过-p选项,但它不起作用。 感谢您的任何帮助。

使用rsync快速上传与其他文件类似的文件

我正在制定一个部署脚本,用于打开我的代码目录,在当前date和时间之后将tar文件命名,将其推送到服务器,将其解压到相同名称的目录中,然后交换“当前“符号链接指向新的目录。 这意味着我较旧的部署留在时间戳目录(至less直到我删除它们)。 tar文件大约5MB,传输需要将近一分钟。 我想加快速度。 我假设每个新的tarball在结构上都与之前的tarball非常相似(因为我经常只是在部署之间更改几行源代码)。 有没有办法利用这个事实来加快我的上传使用rsync? 理想情况下,我想说“嗨rsync,上传这个本地文件称为2009-10-28-222403.tar.gz到我的服务器,但它只是一个不同的文件2009-10-27-101155.tar .gz已经在那里,所以试着只是发送差异“。 这是可能的,还是有另一种工具,我应该看?

在两台远程机器之间复制大文件 – 高效

我有一个shell脚本不断复制远程系统之间的大文件(2 GB到5 GB)。 基于密钥的身份validation与代理转发一起使用,一切正常。 例如:假设shell脚本正在machine-A上运行,并将文件从machine-B复制到machine-C。 “scp -Cp -i私钥ssh_user @ source-IP:源pathssh_user @ destination-IP:目的path” 现在的问题是sshd正在不断的加载CPU。 例如:目标机器上的顶级-c(即machine-C)显示 PID用户PR NI VIRT RES SHR S%CPU%MEM时间+命令 14580 ssh_user 20 0 99336 3064 772 R 85.8 0.0 0:05.39 sshd:ssh_user @ notty 14581 ssh_user 20 0 55164 1984 1460 S 6.0 0.0 0:00.51 scp -p -d -t / home / binary / instances […]

如何更快地复制200GB文件?

服务器A(RHEL 5.2)上有一个200GB的.tgz文件。 我想将该文件传输到服务器B(RHEL 5.3)。 服务器B在ESXi 4 Update1上。 我给了该服务器B虚拟机10GB,4个vCPU。 服务器A和服务器B都使用本地IP addies连接以太网电缆(不涉及交换机) scp给我约3Mbps。 有没有办法获得400Mbps?

通过smb加速rsync

我正在通过SMB备份一个Linux机器到NAS。 我在本地安装NAS,然后我rsync了很多数据(100GB左右)。 我相信这需要很长时间:超过12小时。 一旦一切都被复制,我预计会更快,因为几乎每天都没有改变。 有没有办法加快速度? 我在想也许rsync认为它与本地硬盘工作,并使用校验而不是时间/大小比较? 但我没有find强制进行时间和date比较的方法。 还有什么我可以检查?