Articles of rsync

从NFS的Rsync到远程服务器 – 不再同步文件

我有一些真正的问题,试图使用基于Debian云的节点将大量的MP3文件(3.5TB价值)从NFS挂载分区传输到远程服务器。 它似乎同步了很多文件,但现在它已停止同步。 该目录不断更新的文件,所以我知道会有文件,应该同步。 每当我尝试和同步时,都会发生这种情况: root@node:/# rsync -Pav -e 'ssh -i /keyfile.pem' /nfs/src ubuntu@ec2:/dest sending incremental file list ./ sent 2332901 bytes received 75 bytes 15710.28 bytes/sec total size is 529754905288 speedup is 227072.59 通常它会显示进度,不再显示正在传输的文件。 可以直接访问NFS安装中新近更新的文件,而不会出现任何问题。 我已经更新了rsync到最新的3.1.2,但仍然没有运气。

rsyncd.conf包含本地conf?

我们在所有的服务器上都同步了默认的/etc/rsyncd.conf,定义了我们使用的默认备份模块。 对于某些服务器,我需要在其中添加一些自定义模块,而不必在任何地方定义它们。 有没有办法从/etc/rsyncd.conf中包含另一个configuration文件? 也许一个/etc/rsyncd.local例如?

Azure – 将Windows Server 2008文件与存储文件容器同步

我有一个Windows Server 2008的硬盘驱动器,我想迁移到一个Azure存储文件容器。 我相信,为了使用正常的“net use”命令,要将驱动器安装在服务器上,我需要运行Server 2012或更高版本。 有没有任何方法可以在我的2008服务器上安装Azure驱动器? 是否有任何Azure工具可用于同步驱动器? 最简单的方法是什么?

在AWS EC2系统上使用NFS分区。 使用rsync上传文件会降低实例速度

我正在运行一个AWS EC2系统,在实例之间有一个共享的NFS分区(5x m3.medium)。 我正在上传一个不断增加的二进制文件,速度比我的最大带宽低10倍(在2.5MBpipe道上传250kBs),使用rsync –append 。 同时,我正在分析NFS分区上的文件,并使用MPI分配这些计算。 虽然rsync没有运行,但使用MPI的分析工作正常,需要5秒钟才能运行二进制文件。 当rsync正在运行时,实例之间的MPI通信会进行爬网,需要几个小时才能完成相同的任务。 分析脚本花费大量时间在MPI_File_read_at()命令上,读取NFS共享分区上的二进制文件。 当我停止rsync并重新运行分析时,速度是正常的。 我已经在这个问题上工作了几天,并没有取得太大的进展。 我不确定问题是在rsync文件上使用MPI还是通过NFS更新文件,或者是什么。 我已经明显地限制了rsync的带宽( rsync –bwlimit=X ),并且减速仍然发生。 我没有太多的这些工具的经验,但只是试图得到一个系统,目前的作品。 如果有人知道什么会导致这种滞后,或者我使用的这些方法之间的其他不兼容性,我将不胜感激。

内核报告iSCSI连接1:0错误(1022-无效或未知的错误代码)状态(3)Fed 25 / VessRaid / rsnapshot

我们运行rsnapshot(rsync)并使用ionice和nice。 在备份内存使用结束时爆炸,下面的iSCSI错误开始出现。 这是运行Fedora 25的Dell PowerEdge 1850,具有4.9内核,8GB RAM,8GB交换。 这连接到称为VessRAID 1840i的硬件RAID。 我已经看到了禁用TCP窗口缩放的build议 。 另一个看似相关的线程有以下build议: sysctl -w net.ipv4.tcp_tw_recycle=0 以及禁用TCP时间戳: sysctl -w net.ipv4.tcp_timestamps=0 To make this change permanent, make an entry in /etc/sysctl.conf. 类似的声音错误,“ iscsid: Kernel reported iSCSI connection 1:0 error (1011) state (3)" ,我发现一个build议 : turn off iSCSI pings by setting: node.conn[0].timeo.noop_out_interval = 0 node.conn[0].timeo.noop_out_timeout = 0 And […]

SSH连接到OpenWRT和RSYNC到连接的设备

我有可能在地理位置远的地方使用2,5 GB的Internet连接来满足备份的需要。 所以我想使用安装有OpenWRT的TP-Link千兆路由器WR-1043WD。 有3.5“4TB的希捷个人云通过以太网电缆连接到路由器。 希捷个人云有可能运行RSYNC客户端和服务器,但没有SSH。 我不想在Seagate Personal Cloud上安装替代软件,因为保修。 但是,在OpenWRT上运行SSH和RSYNC当然很简单。 我的想法是通过SSH数据从家庭服务器RSYNC到前面提到的遥远的位置。 我的问题是。 如何使用Seagate Personal Cloud以明文(未encryption)forms将RSYNCstream量通过SSH传送到路由器,而不使用SSH数据传输RSYNC?

从Windows到CentOS的rsync单向增量备份作业

我有一个rsync作业,可以将文件从我在现场使用的Windows服务器增量复制到另一个在我的数据中心中使用的Windows服务器。 增量作业运行完美,不需要很长时间。 我现在必须把这些工作迁移到一个CentOS盒子,并且正在播种这些数据。 我注意到的一件事是后续的工作几乎和原来的一样长。 我使用的是与之前相同的命令,现在它将转到不同的目标。 命令是 rsync -v -rlt -z –chmod=a=rw,Da+x –exclude=*.mdb –exclude=*.mp3 –exclude=*.mp4 –exclude=*.dll –exclude=*.exe –exclude=*.iso –exclude=*.nsf –exclude=*.bkf –exclude=*.ntf "/mnt/server1/share1/" "/backups/server1/share1/" 之前,备份是通过计划任务直接从现场服务器启动的。 现在,我已经通过CIFS将这个共享挂载到CentOS盒子中,现在通过cron从CentOS盒子启动这个工作。 我已经运行一个strace,它看起来像rsync仍然运行每一个单一的文件,只复制那些已经改变。 有没有任何参数可以改变这种行为,只使用存档位来处理文件,同时也不会删除源文件已经被删除的文件(我知道这是-a国旗呢)?

rsync软件更新/多个客户端

我正在构build一个游戏启动器/更新程序,并且需要让客户端下载上一个游戏版本,如果更新是可用的或者如果文件完整性有问题。 我需要能够在客户端本地游戏和服务器上的正式发布之间产生“增量补丁”的东西。 rsync似乎是我所需要的,它只能下载不同的二进制部分(对不对?)。 但是,如果数百客户端需要更新,他们同时rsync在我唯一的服务器上呢? rsync是正确的工具吗? 谢谢,如果你有任何信息,可能导致我正确的方式。

是否有可能保持两个SVN服务器同步每个提交和两个读/写权限?

我们目前有一个本地服务器,作为我们的一个开发团队的主要SVN存储库。 我们正在计划build立一个Azure虚拟机,这个虚拟机将被用作我们SVN仓库的主要仓库。 这是因为Azure服务的正常运行时间更好,我们也有离岸开发人员在同一个项目上工作。 本地服务器将用作备份服务器,以防Azure服务器脱机。 问题是; 是否有可能保持Azure和本地服务器与每个提交同步和两个读/写权限? 我们的Subversion服务器版本: Subversion Edge 3.0.1

一段时间后rsync错误:“rsync服务没有运行”

我正在通过rsync将数据从旧的WD NAS迁移到Synology NAS。 出于某种原因,我的rsync进程在一段时间后被终止,并显示错误消息: rsync error: rsync service is no running (code 43) at io.c(687) [receiver=3.0.9] rsync error: unexplained error (code 255) at io.c(687) [generator=3.0.9] 我正在通过局域网将这些数据提供给新的Synology NAS,即我正在Synology上运行rsync进程。 根据这篇文章,这可能与rsyncd (不在运行)有关,但是这似乎很奇怪,不仅考虑到它偶尔会工作(有时甚至长达几个小时)。 但是,我没有获得稳定。 有什么想法做什么? 其他数据: 我正在迁移的文件夹每个rsync进程的总大小大约为500 GB到1500 GB,其中文件大小从最小到最大4-5 GB不等。