我们在/srv/www服务器1中有一个中央的文件存储库。 那么我们也有N个服务器。 我们希望服务器1能够将其文件以/srv/www部署到所有服务器上,尽可能快速高效地进行。 有没有像rsync的东西,而不是指定一个单一的目标,指定一个集群(N服务器)的目标? 我在想git可能会工作,但我们可以指定多个遥控器推? 什么是最好的解决scheme,假设N个服务器最终可能达到数百个。
rsync如何知道哪些文件被更改,哪些不是? 它是否在文件的任何地方logging数据? 因为我想要做增量备份,但首先它会传输所有文件。 所以我的主要问题是:如果我通过FTP上传初始文件,而不是通过rsync 。 rsync仍然会跳过那些现有的文件,或者它会在第一次运行时上传所有的文件。
我想复制约200个目录和子目录从一个位置到另一个,但我不想复制这些目录中的数千个文件。 我在Linux上。 注意:我没有足够的空间来复制所有文件,然后删除所有文件。
我们用4TB存储作为LVM上的XFS卷来设置一个Linux(它在Amazon AWS上,一个类似于CentOS的系统,尽pipe我们并不完全确定它已经完成了自定义),最终用于通过NFS4服务,目前还没有使用),而且我们正在使用rsync将文件从我们的NFS服务器上的文件同步到XFS卷(即我们的rsync从NFS源到本地安装的基于XFS的LVM卷)。 然而,我们观察到rsync在某一时刻开始变得越来越迟缓(吞吐量急剧下降),并且负载平均和内存消耗都在很大程度上上升(而且CPU在iowait中的比例非常高)。 最后,我重新启动了XFS系统,系统显然恢复了正常,至less在过去的24小时里,更正常的rsync性能。 我们检查了munin监视图并没有注意到任何明显的东西,但是我们发现“inode表大小”和“open inode”度量(检查了指向从/ proc / sys / fs / inode-nr)随时间不断下降。 不久之前,我们观察到rsync卡住了,我们观察到这两个度量值从几十万降低到几千(我们的非XFS服务器大多数时间停留在大约500k,并且在长时间内没有显示任何单调下降的趋势),我们从内核中观察到这样的日志: ip-XX-XXX-XXX-XXXlogin:[395850.680006] hrtimer:中断了20000573 ns Sep 18 17:19:58 ip-XX-XXX-XXX-XXX kernel:[395850.680006] hrtimer:中断了20000573 ns [400921.660046]信息:任务rsync:7919被阻塞超过120秒。 [400921.660066]“echo 0> / proc / sys / kernel / hung_task_timeout_secs”禁用此消息。 [400921.660077] rsync D ffff880002fe4240 0 7919 7918 0x00000000 [400921.660093] ffff8800683e5638 0000000000000282 ffff880000000000 0000000000014240 [400921.660131] ffff8800683e5fd8 0000000000014240 ffff8800683e5fd8 ffff88000726da40 [400921.660153] 0000000000014240 […]
我正在使用rsync(1)同步源区域和目标区域之间的文件,其中目标目录层次结构包含符号链接。 当源目录与目标区域中的符号链接具有相同的名称和相对path时,rsync 会将符号链接replace为复制的源目录及其所有内容。 我希望rsync改为保持符号链接不变,只复制已被复制的文件,而符号链接已经成为一个真正的目录。 我目前正在使用-Cvrtp选项来rsync。 我知道 – –links选项,但似乎只涉及源区域中的符号链接。 有没有办法获得我正在寻找与rsync的行为?
我正在使用rsync将一个目录移动到另一个目录。 有什么方法可以让rsync在将发件人复制到收件人后从发件人增量删除文件?
我试图使用以下命令将数千个小文件从一台服务器转移到另一台服务器: rsync -zr –delete /home/user/ [email protected]::backup 目前转移需要很长时间(我还没有计时)。 有没有办法让这个更快? 我应该使用其他工具吗? 我应该通过ssh使用rsync而不是使用rsync协议吗?
这是我需要的: Rsync守护进程在源服务器上运行。 目标服务器做一个rsync拉如下: rsync -ptv rsync:// source_ip:document / source_path / *。abc destination_path / 巨大的二进制文件(3 GB到5 GB)通过局域网从源机复制到目的地。 所以不需要encryption/解密。 因此不使用SSH。 目标机器直接连接到rsync守护进程。 在rsync拉之前,目标文件夹将始终为空。 所以我不必担心有条件地更新一些文件。 Rsync拉将始终在目的地创build新文件(不更新)。 因此我不需要rsync来计算校验和。 我不满意在接收端rsync消耗的CPU数量? 在上面解释的情况下,哪些rsync选项将帮助我优化rsync的使用。 我所关心的是rsync可能比我所需要的做得更多。 rsync校验和文件。 我不需要那个 也希望看到速度的提高。 更改块大小,禁用校验和等将有所帮助?
我正在购买外置硬盘来备份我家里的电脑(最后!!)。 我希望能使用rsync。 我已经看到一个例子,(或似乎是)正是我想要的。 像这样的东西: rsync -aE –delete /path/to/what/I/want/to/backup /Volumes/FW200/Backups 但是,在查看rsync文档和示例等等时,事情看起来比这更复杂。 networking和守护进程和行话,哦,我的! 我假设没有这些东西是必要的,只要我只是从计算机到火线连接的外部驱动器的rsyncing。 我错了吗? 事情真的比这个无害的命令更复杂吗?
为了实现灾难恢复,我在不同的提供商上运行了2个LAMP Web服务器 – 一个高性能的在线服务器和一个低功耗的备份服务器。 目前,我每隔4小时将所有数据从活动服务器rsync同步到备份服务器。 这工作正常,但确实加载系统负载,而rsync计算出哪些文件已经改变。 由于所有的网站也住在git仓库,我想知道是否git推是一个更好的备份技术。 我不得不在git仓库中包含实时上传文件夹; 然后备份过程将是: live$ git add . live$ git commit -a -m "{data-time} snapshot" live$ git push backup live_branch 然后在备份服务器上build立一个提交钩子来检查每次推送。 每个网站的大小从50M到2GB不等。 我最终会得到大约50个独立的git回购。 这是比rsync更好的解决scheme吗? git更好地计算哪些文件已经改变? 是git推更高效的rsync 我忘了什么 谢谢! —-一些比较testing的数据—— 1)52MB文件夹,然后添加一个新的500K文件夹(主要是文本文件) rsync的 sent 1.47K bytes received 285.91K bytes total size is 44.03M speedup is 153.22 real 0m0.718s user 0m0.044s sys 0m0.084s […]