Articles of rsync

Rsync不能与一台服务器同时使用strato hidrive

在运行Linux服务器的CentOS 6.4上,我试图用strato hidrive( http://www.strato-hosting.co.uk/online-storage-hidrive/advanced/ )来rsync文件夹。 服务器正在运行rsync版本3.0.9。 我所做的设置rsync到hidrive: 使用以下命令生成需要上传到strato的rsa密钥: ssh-keygen -f /root/.ssh/id_rsa -t rsa -N '' 保存id_rsa.pub文件到我的本地机器,以便我可以上传它在hratrive控制面板上,当我上传时,它确实表示它认识到它是一个rsa键。 /opt/rsync/bin/rsync -av -e 'ssh' –rsh="ssh -p22" /home/user/example/ [email protected]:/users/mystratousername/我已经做了一个testing,看看它是否能正常工作/opt/rsync/bin/rsync -av -e 'ssh' –rsh="ssh -p22" /home/user/example/ [email protected]:/users/mystratousername/ 通常它只是rsync,但现在它要求input密码(虽然我没有使用密码)。 我确实有另外5台机器在工作,但我在半年前就设置好了。

Rsyncfilter并忽略一些目录

我想rsync在我的服务器上包含一个Python 3应用程序的目录。 目录中有我感兴趣的文件:以.py结尾的文件 还有我想要忽略的文件(这些是位于__pycache__目录内的文件)。 (注意:在我的项目的任何子目录中都可能有__pycache__目录)。 我想这些__pycache__目录被忽略,无论它们出现在哪里)。 我认为应该有一个简单的方法来做到这一点,但无法find它。 –filter选项似乎没有logging,而–exclude选项不能像rsync帮助中描述的那样工作。

奇怪的权限设置在rsync后的目录

我在Mac上共享驱动器(OSX 10.7.5),我在LAN上共享。 在系统首选项中,共享设置为使系统pipe理员具有读写权限,系统组具有只读权限,并且每个人都具有只读权限。 共享文件夹中的文件是远程计算机上的文件镜像,它们使用rsync在本地进行复制。 远程计算机的权限已设置为全球无法访问,但我希望人们能够以访客身份访问此本地共享,所以我在做的是运行一个shell脚本,执行rsync,然后使用chmod -R a + rX和chmod -R go-w。 这基本上工作,除了当rsync运行共享上的目录将暂时显示为不可用(由于他们的源权限),然后再次变得可用,一旦我做了chmod命令。 所以相反,我在rsync命令中添加了参数–chmod = a + rX,og-w,u + w –perms,这就是奇怪的事情。 从我的桌面Mac上,当我通过LAN查看共享目录时,我可以看到所有文件,但没有任何子目录。 如果我打开一个terminal窗口,并cd到共享的根目录,它会显示我所有的子目录,但如果我尝试cd到一个它告诉我“没有这样的文件或目录”。 我认为这是一个简单的权限的事情,但从承载共享的机器,如果我以pipe理员身份login,并使用ls -ld查看子目录,输出显示drwxr-xr-xpipe理,这看起来像什么我期望。 我读了ACL,但ls -d -le显示了与ls -ld相同的东西,这让我觉得没有设置任何ACL权限。 我错过了什么?

为Dropbox同步备份存档格式?

在具有Linux AMI的Amazon EC2服务器上,我目前有一个每日备份cron作业可以运行: TMP_BACKUP_FILE="/tmp/backup.tar" BACKUP_FILE="/home/ec2-user/Dropbox/Backup/backup.tar" rm -f "$TMP_BACKUP_FILE" tar cf "$TMP_BACKUP_FILE" \ /home /root /var/lib/redis /var/spool /etc mv "$TMP_BACKUP_FILE" "$BACKUP_FILE" chown ec2-user:ec2-user "$BACKUP_FILE" tar dump被上传到Dropbox中: 文件名始终是backup.tar 。 没有时间戳被添加。 Dropbox负责版本控制。 tar文件是未压缩的,这有助于Dropbox 增量同步 。 但是,在监视(使用dropbox.py )将backup.tar上传到Dropbox时,我感觉Dropbox客户端没有使用增量同步。 这不好: 没有增量同步,服务器带宽被浪费。 我已经与我的个人Dropbox共享备份文件夹,所以每天都会将backup.tar下载到我的笔记本电脑(并从那里进入离线备份系统)。 如果没有增量同步,下载需要花费很长的时间和浪费带宽。 给定的目的是什么是一个好的备份存档格式? 我可以rsync一个循环安装的图像文件。 这听起来像个好主意吗? 更新 我刚刚testing了rdiff实用程序,它是librsync的一部分, 根据维基百科, Dropbox依赖于librsync。 testing显示增量仅为2.6 MB,因此比备份存档的354 MB小得多。 所以,对于给定的目的,tar可能是一个好的格式。 考试: $ mv ~/Dropbox/Backup/backup.tar /tmp $ […]

备份错误后如何让rsnapshot继续?

我已经实现了一个多服务器备份系统,相当有效地工作。 我有一个大型磁盘arrays备份服务器,每天晚上它运行rsnapshot备份局域网(linux / windows)上的所有服务器上的相关数据。 连接到服务器是通过常规的SSH连接。 这是我的rsnapshot.conf的相关(简化)部分: … backup user@server-one:/etc/ backup-server-one/ backup user@server-one:/opt/ backup-server-one/ backup user@server-two:/etc/ backup-server-two/ backup user@server-two:/var/ backup-server-two/ backup user@server-three:/etc/ backup-server-three/ backup user@server-three:/home/user/ backup-server-three/ … 到现在为止还挺好。 问题是,当由于某种原因,一个备份失败(通常是因为该服务器closures…),整个rsnapshot进程死亡,所有下面的快照不执行… 问题是:是否有可能说服rsnapshot进行下一个“备份”,即使出现错误?

如何将远程pipe理工具(puppet或chef)与同步工具(例如rsync)结合使用将多个服务器的日志文件发送到中央服务器?

概要 我如何使用远程pipe理工具(puppet或chef)与同步工具(例如rsync)和调度程序(cron)结合将日志文件从多个服务器发送到中央服务器? 上下文 我们的系统pipe理员(正确)收紧了开发人员访问生产服务器的权限。 其中一个后果就是:在支持客户问题时,开发者尤其不能轻松访问日志文件。 目标:将文件发送到通用日志服务器 我想设置日志自动复制到中央“日志服务器”。 支持问题时,开发人员/支持人员可以读取“日志服务器”文件系统。 这是我们的文件系统结构的一个例子。 每个客户一个目录。 在此,每个应用程序一个目录。 每个应用程序有不同的子目录结构和日志文件名称。 Server A d:/ Instances/ CustomerFoo App 101/ logs server.log access.log App 201/ logs stdout.log jdbc.log timing.log CustomerBar/ App 101/ …. App 301/ logs/ monitor.log 这些将会到一个像这样的结构的中央服务器。 (客户名称在企业内是唯一的,所以我们不会有任何碰撞) LogServer d:/ logfiles/ CustomerFoo App 101/ logs/ App 201/ logs/ … CustomerBar/ App 101/ …. App 301/ […]

使用rsync hardlink选项将文件备份到具有多个版本的远程服务器

要使用rsync硬链接选项远程备份文件,以便远程备份服务器可以保留多个备份版本,link-dest目录和目标目录必须位于同一个远程磁盘上。 但'rsync –link-dest'选项只需要一个本地path。 要从要备份目录的服务器运行脚本,必须首先通过SSH连接到备份服务器,然后从备份服务器运行rsync命令,如下所示: ssh [email protected] 'rsync -a –delete –rsh "ssh -l root -i /root/.ssh/key2" –link- dest=backupDict.1 19.2.2.1:/mnt/mountDict backupDict' 使用硬链接备份文件的方法不太复杂吗? 另外,在备份处理期间,当快照vm并将快照lv作为原始目录挂载时,我还收到了错误日志和pipe理程序冻结。 如果不使用rsync硬连接方法,快照并挂载虚拟机。 有没有办法解决它? Mar 10 02:36:59 kvm kernel: BUG: Bad page map in process udevd pte:800000081ad43645 pmd:409f37067 Mar 10 02:36:59 kvm kernel: addr:00006aff4f837000 vm_flags:00100173 anon_vma:ffff88081f7dc448 mapping:(null) index:7fffffff1 Mar 10 02:37:02 kvm kernel: Pid: 5091, comm: […]

如何镜像Rsync中的NTFS目录结构

作为一个Linux工具,我不确定这是否被支持,但它是否可以完整地镜像一个NTFS文件系统,包括所有符号链接? 符号链接必须被复制并指向新的目的地。 例如想象一下: C:\Users\USER_HERE\AppData\Local\Application Data -> C:\Users\USER_HERE\AppData\Local\ 我想要的副本 D:\Users\USER_HERE\AppData\Local\Application Data -> D:\Users\USER_HERE\AppData\Local\ instead of D:\Users\USER_HERE\AppData\Local\Application Data -> C:\Users\USER_HERE\AppData\Local\

Rsync插件通过脚本或cli进行许多本地wordpress安装

我在生产服务器上维护了大量的wordpress安装,我们正在考虑部署InfiniteWP来pipe理这些安装。 我正在寻找一种方法来编写插件文件夹的分发到所有这些安装。 在服务器的wp-prod上,所有的站点都存储在/ srv / sitename / site /插件需要从〜/ iws-plugin复制到/ srv / sitename / site / wp-content / plugins / 这里有一些伪代码来解释我需要做什么: array dirs = <all folders in /srv> for each d in dirs if exits "/srv/d/site/wp-content/plugins" rsync -avzh –log-file=~/d.log ~/plugin_base_folder /srv/d/site/wp-content/plugins/ else touch d.log echo 'plugin folder for "d" not found' >> ~/d.log end end […]

rsync chgrp在NFS上失败

我正在尝试在两台服务器上设置NFS来共享文件。 相关文件的所有者在NFS服务器和每个NFS客户端上具有相同的UID和GID。 NFS服务器在Ubuntu 14.04上运行,客户端都是12.04。 NFS共享位于ZFS池中。 我正在使用NFSv4和/ etc / export /mnt/share client1(rw,sync,no_root_squash,no_subtree_check,nohide) /mnt/share client2(rw,sync,no_root_squash,no_subtree_check,nohide) 当从本地文件运行rsync到networking共享时,出现以下错误: sudo rsync -av /home/ubuntu/data/ /nfs_test/data/ sending incremental file list rsync: chgrp "/nfs_test/data/file" failed: Invalid argument (22) 其中一些文件将成功完成,而其他文件将有相同的chgrop错误。 这是每个文件的统计。 在服务器上: root@nfs_server:~# stat /mnt/share/data/file File: '/mnt/share/data/file' Size: 9095168 Blocks: 17919 IO Block: 131072 regular file Device: 1ch/28d Inode: 1827 Links: 1 Access: (0700/-rwx——) […]