Articles of rsync

为什么不能使用两个远程rsync?

当源和目标都是远程时,rsync抱怨: The source and destination cannot both be remote. rsync error: syntax or usage error (code 1) at main.c(1156) [Receiver=3.0.7] 有没有一个不可逾越的技术障碍,使rsync做到这一点? 还是仅仅是一个尚未实现的案例? 在内存中创build一个本地缓冲区似乎比较容易,该缓冲区调解两个遥控器之间的传输,同时保存哈希和数据。 编辑 由于人们提出了一些切线的build议,我已经发布了一个单独的问题,详细介绍了我的特定用例。 这是两个单独的,真的,我认为值得了解这些rsync的具体细节

有效同步100万个文件与远程服务器的选项?

在我工作的公司,我们有一个叫做“播放列表”的东西,它们是小文件,每个文件大小为100-300字节。 大概有一百万 其中约有10万人每小时换一次。 这些播放列表需要每小时上传到不同大陆的其他10台远程服务器,理想情况下需要在2分钟内快速完成。 在主服务器上删除的文件在所有副本上也被删除,这一点非常重要。 我们目前使用Linux作为基础设施。 我正在考虑尝试使用-W选项rsync来复制整个文件,而无需比较内容。 我还没有尝试过,但也许有更多的经验与rsync的人可以告诉我,如果这是一个可行的select? 还有什么其他的select值得考虑? 更新:我select了lsyncd选项作为答案,但只是因为它是最受欢迎的。 其他build议的替代方法也是有效的。

最好的方法来比较(差异)一个完整的目录结构?

什么是比较目录结构的最佳方法? 我有一个使用rsync的备份工具。 我想告诉源和备份之间的确切区别(文件大小和上次更改的date)。 就像是: Local file Remote file Compare /home/udi/1.txt (date)(size) /home/udi/1.txt (date)(size) EQUAL /home/udi/2.txt (date)(size) /home/udi/2.txt (date)(size) DIFFERENT 当然,这个工具可以是现成的,也可以是一个python脚本的想法。 非常感谢! 乌迪

在Amazon S3中使用RSYNC

我有兴趣使用Amazon S3备份我们的〜100GB服务器映像(通过Acronis备份工具创build) 很显然,这个每天晚上上传到S3的带宽和成本都是昂贵的。 我正在考虑与S3一起使用rsync,并且遇到了s3rsync。 我只是想知道有没有人使用过这个或其他工具?

Rsync:仅在时间戳上复制

目前我有两个目录A /和B /在每个方面是相同的,除了时间戳。 因此,如果我运行命令: rsync –dry-run -crvv A/ B/ 那么所有的文件都标记为“uptodate”,而命令: rsync –dry-run -rvv A/ B/ 显示所有文件将从A /到B /复制。 我的问题是这样的:鉴于我知道这些文件是相同的(就内容而言),那么是否有任何方法(通过rsync或其他方式)将B /中文件的时间戳设置为与文件的时间戳相同A /,而不复制从A /到B /的所有文件? 谢谢

为什么rsync比NFS更快?

几天前我注意到一些很奇怪的东西(至less对我来说)。 我运行rsync复制相同的数据,然后删除NFS挂载,调用/nfs_mount/TEST 。 这个/nfs_mount/TEST是从nfs_server-eth1托pipe/导出的。 两个networking接口的MTU都是9000,两者之间的交换机也支持巨型帧。 如果我做rsync -av dir /nfs_mount/TEST/我得到networking传输速度X MBps。 如果我做rsync -av dir nfs_server-eth1:/nfs_mount/TEST/我的networking传输速度至less为2X MBps。 我的NFS挂载选项是nfs rw,nodev,relatime,vers=3,rsize=1048576,wsize=1048576,namlen=255,hard,proto=tcp,timeo=600,retrans=2,sec=sys,mountvers=3,mountproto=tcp 。 底线:两个传输通过相同的networking子网,相同的线路,相同的接口,读取相同的数据,写入相同的目录等。唯一的区别是通过NFSv3,另一个通过rsync。 客户端是Ubuntu 10.04,服务器Ubuntu 9.10。 rsync如何快得多? 如何使NFS匹配的速度? 谢谢 编辑:请注意我使用rsync写入到NFS共享或SSH到NFS服务器,并写在那里。 两次我做rsync -av ,从明确的目的地目录开始。 明天我会尝试用简单的副本。 编辑2(附加信息):文件大小范围从1KB到15MB。 这些文件已经被压缩了,我试图进一步压缩它们,但没有成功。 我从该dir做了tar.gz文件。 这是模式: rsync -av dir /nfs_mount/TEST/ =最慢转移; rsync -av dir nfs_server-eth1:/nfs_mount/TEST/ =启用巨型帧的最快rsync; 没有巨型帧是有点慢,但仍然明显快于直接到NFS的速度; rsync -av dir.tar.gz nfs_server-eth1:/nfs_mount/TEST/ =大致与其非tar.gz等效; testing与cp和scp : cp -r dir […]

rsync – 排除超过一定大小的文件?

我正在做我的桌面备份到远程机器。 我基本上是做rsync -a ~ example.com:backup/然而,有大量的大文件,例如维基百科转储等大多数文件我关心一个很小的,如Firefox的cookie文件,或.bashrc 。 是否有一些调用rsync,将排除超过一定大小的文件? 这样我可以复制所有小于10MB的文件,然后做所有的文件。 这样我就可以对最重要的文件进行快速备份,然后对其他文件进行更长时间的备份。

为什么rsync跳过主目录?

我试图在本地(在Windows机器上)使用rync到远程服务器(我的osx盒),以testing远程部署构build脚本。 我已经完成了rsync之间的2个Linux服务器之间的罚款,但我现在有问题。 这是输出: $ rsync -v -e ssh [email protected]:/Library/WebServer/sites/staging/app1/ ./export skipping directory /Library/WebServer/sites/staging/app1/. sent 8 bytes received 13 bytes 3.82 bytes/sec total size is 0 speedup is 0.00 $ 要么 $ rsync -avz -e ssh [email protected]:/Library/WebServer/sites/staging/app1/ ./export receiving file list … done ./ sent 26 bytes received 68 bytes 17.09 bytes/sec total size is 0 […]

为什么我的rsync如此之慢?

我的笔记本电脑和我的工作站都连接到千兆交换机。 两者都在运行Linux。 但是,当我用rsync复制文件,它performance不佳。 我得到约22 MB /秒。 我理论上不应该达到125 MB / s? 这里的限制因素是什么? 编辑:我进行了一些实验。 在笔记本上写下性能 笔记本电脑有一个全磁盘encryption的xfs文件系统。 它使用密钥长度为256位的aes-cbc-essiv:sha256密码模式。 磁盘写入性能是58.8 MB / s 。 iblue@nerdpol:~$ LANG=C dd if=/dev/zero of=test.img bs=1M count=1024 1073741824 Bytes (1.1 GB) copied, 18.2735 s, 58.8 MB/s 阅读工作站上的性能 我复制的文件在5个硬盘上的软件RAID-5上。 在突袭之上是一个lvm。 卷本身使用相同的密码encryption。 该工作站有一个FX-8150 CPU,具有加速encryption的本机AES-NI指令集。 磁盘读取性能是256 MB / s (caching是冷的)。 iblue@raven:/mnt/bytemachine/imgs$ dd if=backup-1333796266.tar.bz2 of=/dev/null bs=1M 10213172008 bytes (10 […]

如何有效地使用S3来逐步备份文件?

我理解rsync如何在高层上工作,但是有两个方面。 有了S3,就没有什么可说的了 – 好吧,但它基本上只是HTTP。 看起来有几个办法。 s3rsync(但这只是rsync到s3螺栓)。 直截了当。 不知道我想依靠第三方。 我希望S3只是支持rsync。 还有一些rsync“克隆”像口音,声称支持s3没有说螺栓。 但是它怎么能这样做? 他们在本地保存索引文件吗? 我不确定那可以如此高效。 我显然想要使用s3,因为它便宜可靠,但有一些rsync是工具,比如备份一个巨大的图像目录。 这里有什么select? 使用duplicateity + s3代替rsync + s3rsync + s3会损失什么?