Articles of rsync

Percona XtraDB集群节点不会join

我试图添加一个节点到一个新的集群,但遇到了以下日志条目: 120915 16:47:32 [Warning] WSREP: error executing 'SET GLOBAL innodb_disallow_writes=1': 1193 (Unknown system variable 'innodb_disallow_writes'). Was mysqld built with –with-innodb-disallow-writes ? 120915 16:47:32 [ERROR] WSREP: Failed to disallow InnoDB writes rsync: open "mysql/dummy.bak" (in rsync_sst) failed: Permission denied (13) rsync: open "test/dummy.bak" (in rsync_sst) failed: Permission denied (13) rsync error: some files/attrs were not transferred […]

RSYNC具有不同的目录结构

我试图用RSYNC来完成下面的内容,但不能完全弄清楚语法。 我的源文件包含每个用户的文件夹,然后是日志下的一些子文件夹。 我需要使用同步function捕获数字文件夹下的所有内容。 SOURCE DIRECTORY STRUCTURE: /STORAGE/user1/db/Logs/151251/ /STORAGE/user1/db/Logs/156123/ /STORAGE/user1/db/Logs/117722/ /STORAGE/user2/db/Logs/178438/ /STORAGE/user2/db/Logs/161265/ PREFERRED DESTINATION DIRECTORY STRUCTURE /LOGS/user1/151251/ /LOGS/user1/156123/ /LOGS/user1/117722/ /LOGS/user2/178438/ /LOGS/user2/161265 我试过的命令是: rsync -azvr [email protected]:/STORAGE/*/db/Logs/*/ /LOGS/ 这成功地复制了所有数字子文件夹中的所有文件,但是我需要创build上面的目录结构( /LOGS/user/uniqueid/individual文件)。 有没有办法做到这一点?

关于rsync服务器和客户端

在阅读了一些文档后,我仍然不明白(尽pipe看起来有些错误):rsync服务器的目的是什么?为什么不使用客户端? 大多数似乎通过SSH使用rsync,这是我想的客户端。 一般来说,我认为,服务器交付和客户端收到,但在freenas文档中,反之亦然: rsync服务器:这个系统拉(接收)数据。 这个系统在configuration例子中被称为PULL。 rsync客户端:这个系统推送(发送)数据。 这个系统在configuration例子中被称为PUSH。 这是正常的设置? 它使我困惑,因为在正常的客户端服务器设置客户端是拉动数据,或不是? 所以,如果这里的服务器像一个客户端,为什么人们在客户端模式下使用rsync然后通过ssh获取( 拉 )文件(就像大多数教程解释)? 当我在不同的networking中有两个存储(例如一个用于VPN后面的备份),我不想运行额外的sshd,那么我该如何设置呢? 服务器在哪里运行,客户端在哪里?

在rsync期间内核恐慌

我正在运行OEL 6.4(一个RHEL克隆),每晚通过ssh读取大文件。 在rsync期间,我经常(大部分时间)会发生内核恐慌: Message from syslogd@cheshire at Mar 24 00:39:01 … kernel:Oops: 0000 [#1] SMP Message from syslogd@cheshire at Mar 24 00:39:01 … kernel:Stack: Message from syslogd@cheshire at Mar 24 00:39:01 … kernel:Call Trace: Message from syslogd@cheshire at Mar 24 00:39:01 … kernel:Code: 00 55 48 89 e5 48 83 ec 10 48 89 1c […]

在Linux上使用rsync进行复制时如何跳过带有读取错误的文件?

我从我的sda复制文件到我的SDB。 SDA读取错误,这意味着,当一个文件被写入一个读取错误块,阅读这个文件引起几个读取错误冻结系统。 我想要rsync跳过这些文件,保持原来的文件完好无损。 没问题,我准备好可能会丢失我最新的文件。 是否有可能跳过有读取错误的文件? 我能怎么做? 感谢您的任何build议。

Mac服务器体系结构和同步

我目前正在寻找一个可靠和强大的解决scheme,使两个mac os x服务器(最近的版本)之间的文件双向同步。 该文件夹是大约75 GB的企业架构。 我已经考虑过使用一些来自Linux的脚本,比如unison或者rsync,但是它们听起来不太可靠。 我目前的解决scheme是一致的。 以前有没有在企业环境中使用过这样的系统? 你知道一些解决scheme,值得评估这种用法? 我应该使用分布式文件系统吗? 这是我们系统的要求: 同步需要两种方式 同步需要尽可能实时 如果同步只传输需要的数据(低通道隧道)来节省带宽,那将是非常好的 提前致谢 !

磁盘写入挂载的EBS卷未login到监视器中

我有一个专门用于通过rsync存储远程备份的EBS卷。 该卷已附加并安装到EC2实例。 用户中介备份可以通过用户主目录中的符号链接访问此卷。 一切似乎都运作良好。 用户写入到一个文件夹和写入所有去附加的卷,使我只需要快照备份卷。 但是,这里有一个问题:当我在EC2pipe理控制台中监视这个卷时,没有任何写入出现在这个卷上! 实际上,所有的写操作都logging为根卷。 我的问题是:这只是一个问题,没有正确地考虑通过跨卷的符号链接的磁盘写入AWS的AWS? 或者,我的设置可能有问题,我应该关心?

在AWS中同步两台Linux服务器的方法是什么?

我有以下几点: Linux Apache服务器A = / var / www / webroot Linux Apache服务器B = / var / www / webroot 如何在一个方向上同步两个Webroot Server A – > Server B? 如果你使用的是rsync,你用什么确切的参数来同步服务器A上的webroot上的任何新文件到B? 我希望大家分享一下如何将这种系统应用于您的基础设施。

如果一个进程被杀死,rsync是否可以部分复制一个文件?

我对rsync假设是,它以一种“同步”的方式传输文件,这意味着它是全有或全无。 这是正确的,还是有可能的rsync可能会返回一个非0,仍然坚持在预期的名称下的远程磁盘上的东西? 换句话说,我从服务器A到服务器B的rsync myfile.txt作为/myfile.txt 。 由于某种原因传输失败(一个服务器崩溃或进程在恰当的时间被终止)。 现在,是否可以在服务器B上创build/myfile.txt文件,或者rsync是否使用临时文件(或其他文件)来确保文件已经完全传输,然后重命名它? 请注意,我正在使用Ubuntu 12.04.2,以防万一,而且我的磁盘上没有caching的回写废话,因为性能或任何事情(如果磁盘说已完成,写入完成)。

什么上传技术适合这个用例呢?

我们的部门在客户从另一个软件供应商切换到我们时进行数据迁移,我们通常需要获得他们的旧数据(不pipe可能是什么)的副本并将其发送给我们。 我们面临的巨大挑战是一些系统将有数十万个文件(主要是文档/图像库),整个集合可能在十几兆字节的大小。 我们在转换过程开始时获取他们的数据副本,然后我们在安装之前抓取第二套,这可能在几个月后。 我们正在寻找更好的解决scheme来上传第二组数据。 目前主要的方法是创build一个大的整个目录的zip文件和FTP(通过一个只写帐户)到我们的服务器,这当然有一个很大的开销,由于大部分文件可能没有改变分享最初的数据抓取。 像rsync这样的工具看起来像是一个完美的解决scheme,但从我研究的内容来看,没有简单的方法来像“FTP”那样只写一个帐户。 防止未经授权下载另一个客户的数据是上级关注的重点。 总之,我应该使用哪种工具来满足这些要求: 不允许下载其他客户的数据。 最小的安装工作要执行客户端。 通常通过电话提供有关如何上传数据的说明,而且现场没有任何人。 此外,电话另一端的人往往是非常不熟练的电脑使用。 客户端的Windows可比性。 95%的客户是Windows用户,另外5%是Mac电脑,但是Mac的可比性不是主要关心的问题(但是会是+)。 允许我们不发送没有改变的冗余文件 。 客户端的可靠性。 以前我们试图用BITS来上传,但是我们发现相当多的XP时代机器无法正常工作。 我们使用的任何客户端都需要在任何Windows XP SP2或更新版本上运行99%的时间。 最小的安装工作服务器端每客户端。 我们不希望为每一个上传的客户端创build一个单独的用户,但是如果我们不得不这样做的话,不排除一个工具只能算作一个 – 。 服务器端程序在窗口内运行。 我们主要是一个Windows / C#商店,不得不设置和pipe理一个Linux机器将不是首选。 但是,如果有问题的工具能够很好地满足所有其他要求,那么就不排除在Windows中不能运行。 目前的先行者是rsync和编写某种用户pipe理器,可以在每个客户端的rsync服务器上创build一个单独的用户帐户,但我相信还有其他选项,我不知道哪些可能更适合。