Articles of rsync

Rsync – 将增量备份结果输出到不同的文件夹?

我是Unix系统的初学者,如果这听起来不太好,请耐心等待。 使用rsync进行增量备份的最常用方法就是这样做 rsync -av –delete <source> <destination> 有没有办法做到这一点,你比较directory1目录2,然后存储在目录3输出? 基本上,我想要的是有一个完整备份系列的每日增量备份作为基础。 所以如果我有这些文件夹,今天是20130103 , /folder/to/back/up <– source /backup/base <– base /backup/20130101 <– incremental /backup/20130102 <– incremental 我想用/backup/base比较/folder/to/back/up并将结果存储在一个新的文件夹/backup/20130103 。

作为守护程序运行的rsync安全configuration

uid被设置为nobody(无论如何都应该默认),chroot和只读都被启用。 rsync服务正在通过/etc/init.d/rsync启动。 这是完整的rsrync.conf: motd file = /etc/rsync/rsyncd.motd max connections = 4 timeout = 30 uid = nobody use chroot = true address = my-ip [ubuntu-releases] path = /usr/share/nginx/example.com/cdn/ubuntu-releases log file = /etc/rsync/rsync.log read only = true list = true 所以我的问题是,如果这是安全的或我错过了什么? 我听说rsync通过SSH,但我不知道这是否只用于私人访问。

有没有办法使我的分布式存储基础架构与每个位置上的文件更改同步?

我需要在3个不同的位置存储设备。 每个设备将有4TB的存储空间。 至less2TB应该是一个像Dropbox一样工作的“共享文件夹”:当用户在一个位置更改文件时,该文件应该通过互联网在其他两个设备上立即更新(与networking允许的速度一样快)。 每个存储设备将连接到本地networking,使用MAC / Linux的用户将把文件下载到“外部HD”。 我曾经想过一个内置备份到不同位置(例如Synology产品)的另一台NAS的NAS,但我不知道这是否可以使用更多的设备。 还考虑过文件存储,像glusterfs复制整个磁盘,但感觉这样的工作太过分了。 你能推荐任何软件/设置? 谢谢

使用rsync跨两台服务器同步目录(或同步目录的替代方法)

我有两个虚拟机应该在这个目录中有相同的文件: /var/www/owncloud/data/admin/files/ 我最初认为我可以使用rsync与cron每两分钟复制文件: 在VM1上: */2 * * * * rsync -auz –delete-after /var/www/owncloud/data/admin/files root@VM2:/var/www/owncloud/data/admin 在VM2上 */2 * * * * rsync -auz –delete-after /var/www/owncloud/data/admin/files root@VM1:/var/www/owncloud/data/admin 我遇到的问题是如果我上传文件到VM1,两分钟后,VM2上的cronjob覆盖VM1上的目录,删除文件。 我从VM1-> VM2和VM2-> VM1复制的原因是因为我有一个非常基本的故障转移设置。 如果VM1发生故障并且文件被添加到VM2中,我想要在VM1上复制这些更改; 而且VM1启动并且文件被添加/删除,我想要在VM2上复制这些更改。 这是可能的与rsync? 我的命令错了吗? 有没有我应该使用的替代方法?

rSync仅在开发目录和Live站点之间的X文件

我正尝试将networking文件从开发系统同步到我们的实时系统,但是我尝试了两种方法,只是没有做我想做的。 我不想要的文件正在发送等。 我已经尝试了这两种方式: rsync -av –progress –include="*.php" –include="*.js" –include="*.css" –include="*/" –exclude="*" –exclude=config.php /home/1/www/* /home/2/www/ rsync -av –progress –exclude="*" –include="*.php" –include="*.js" –include="*.css" –exclude=config.php /home/1/www/* /home/2/www/ 这两种方法都不行。 除了PHP,JS和CSS文件之外,其他文件都是同步的(比如图像),并且两个configuration文件都是同步的,并且根据两种方式config.php文件不应该被同步。

用本地冗余分发网站文件

因此,我们正在考虑将我们的单个专用服务器(如共享虚拟主机设置)迁移到具有多个负载平衡前端服务器和独立数据库服务器(由于stream量增长和可用性问题)的体系结构。 TLDR; 当文件服务器出现故障时,我想要一些故障转移到站点文件的本地只读镜像。 场景: 大约200个虚拟主机,每个都有一些别名 每个站点基本上只有一个“包装器”,大约只有30个本地文件,大部分只是模板文件,其余的只是从一个集中的代码库 站点基本上是只读的,除了一个caching目录(可以在每个主机上分开) 没有第三方访问站点文件(即不共享) 每个网站只能获得2-10k次点击/月 目标/要求: 对任何单个服务器进行维护或由于错误而处于脱机状态时,都要具有适应性 定期进行less量文件更新的一些集中方式(手动,只是正常的站点更新),最好通过FTP 在最多5秒内将更改传播到前端服务器是可以接受的 如果一台服务器意外脱机,我会很高兴最多10分钟的文件更改丢失 在这个阶段,我们可能只会看到两台全时运行的前端服务器,另外还有一台文件服务器 可能会在AWS上实施 更多的前端服务器可能会定期添加和删除 我意识到一个典型的方法是通过版本控制进行部署,这是我们在某些情况下已经做的,但是我们的工作人员(非开发人员,主要pipe理横幅,文本更新等)非常适用于“FTP”工作stream程,我想改革,但也许还没有。 以下是我提出的解决scheme: rsync部署 文件服务器承载可通过FTP访问的站点文件的“主”副本,并通过rsync服务器公开这些副本。 我有某种“部署”接口触发每个前端服务器rsync站点和“部署”。 优点 很简单 在文件服务器上允许“暂存”版本,这可能是有用的 每个前端服务器都有自己的文件副本,如果文件服务器处于脱机状态,则不会有任何问题 缺点 有多可靠? 可能会混淆已部署的内容以及未部署的内容 NFS 具有本地caching​​的NFS文件服务器,定期rsync本地备份,然后可能通过将绑定的挂载点切换到本地备份进行故障转移。 优点 可能支持写作(不是必要的) NFS在某种程度上更简单 除非发生停电,否则应始终保持同步 缺点 我不确定本地NFScaching的效果如何,以及是否会自动使修改对象的caching无效。 没有本地caching​​NFS很慢? 我非常确定,我需要一些心跳才能触发故障切换,并在主机恢复联机时挂载主机 Gluster等 我对这个选项并不是很熟悉,但是我相信当你拥有大量的服务器时,这是一种常见的方法。 我看了一些文档,可能是合适的,但是我没有看到很多人推荐这么小规模的文档。 优点 会允许读写 支持caching我认为,应该比非cachingNFS更快? 自动复制,恢复和故障转移 缺点 我喜欢有一个可以快照和备份的单个“主”卷的想法,我不认为有一个选项可以在gluster中说“这个节点必须有一个完整的副本”。 有了这么小的服务器池,似乎你可能很容易意外地终止了两台服务器,而这两台服务器恰好有一些数据的副本 所以,我的问题是: NFS真的是我唯一的select吗? 我应该考虑其他select吗? 这些选项中的哪一个最适合我的需求? 编辑: 感谢你们的回应,我开始意识到,考虑到我的需求规模(相对较小),我正在把事情变得太复杂。 […]

python中的bash rsync脚本奇怪

我有这个问题在python中的bash。 我想制作脚本,使基于系统date的文件夹 – 这工作得很好。 问题是,当我想rsync两个目录与​​我的文件备份和其他名称与系统date创build。 import os f = os.system("bash -c 'DATE=folder-`date +%y%m%d;mkdir /home/lol/$DATE;'") g = os.system("bash -c 'rsync -av /folderToBackup/ /home/lol/$DATE/;'") 而当rsync复制文件,他们都在/ home / lol /不在/ home / lol / $ DATE 请如果有人知道解决scheme,我试过不同的目录和rsynced文件总是落在创build文件夹与date但更高,例如在/ home / lol /

rsync ESXI 5.5内存不足receive_sums

我静静地编译了最新的rsync(3.1.1),并且可以在我的ESXI服务器上成功执行这个命令。 我从rsync得到以下错误: ERROR: out of memory in receive_sums [sender] rsync error: error allocating core memory buffers (code 22) at util2.c(102) [sender=3.1.1] rsync: [generator] write error: Broken pipe (32) 你知道我能做些什么吗? 我正在使用的命令是: rsync -vrltH –delete -pgo –stats -S -D –nmeric-id –bwlimit = 50 -A -X –exclude-from = / home / files / porchefiles / 2014.08.03-08.58.10 /排除–link-dest = […]

如何做到与多个服务器同步?

我们有3个负载平衡器的Web服务器,例如192.168.1.1,192.168.1.2,192.168.1.3。如果我上传192.168.1.1的文件或目录,它应该反映在其他的Web服务器。 同样,如果我上传一个文件或目录在192.168.1.2或192.168.1.3这应该反映在其他两台服务器自动。我可以做到这一点? 我读了一些网站,他们说rsync会帮助你,但是当我search关于rsync它使用主服务器,并使用客户端服务器concepts.this意味着我可以上传一个文件或目录在任何一台服务器,然后做rsync。 有没有解决这个问题的简单方法?

使用rsync重新同步一个大文件

我在R1soft服务器上创build了大量的diskafe文件(71GB)。我想将其副本保存到远程备份服务器,并在存在任何更改时进行同步(复制完成后)。 根据我的理解,rsync是完成此工作的理想工具,因为它在两侧运行整个文件的校验和,比较文件小段的校验和,然后只复制那些不匹配的块。 但是,从我的testing中,rsync在比较校验和之后,在远程备份服务器上创build一个完整的文件副本。 R1soft复制中的增量变化每天只有不到1 GB,为什么rsync会传输整个文件而不是远程备份服务器的变化? 在disksafe目录中,只有一个71GB的.db文件。 运行rsync时,它会在同一个目录中创build另一个副本。 一旦rsync完成,原始文件将被更新,并保持只有一个在该目录中。 -rw ——-。 1根根71G Dec 10 17:38 b5c9b515-47f9-48a0-b6f6-062f13559dad.db -rw ——-。 1 root root 69G Dec 15 12:35 .b5c9b515-47f9-48a0-b6f6-062f13559dad.db.tc9w7A 这里是我使用的rsync命令: rsync -avz –progress /disksafes/2abd4a9a-3a76-40fa-b034-afd29a49f3e3/ remote_server_ip:/disksafes/remote_backup/