我正在寻找方法来做(增量)备份和从局域网和VPN同步到NAS。 我很难findLinux和Windows之间的几个实现。 我的Linux NAS盒子里有我读过的rsync,相当不错。 但是我已经看到了很多Windows中的服务器实现,这似乎很难实现。 除此之外,还有别的吗? 我现在正在用Robocopy和SMB / CIFS与networking安装的驱动器,但我感觉传输性能缓慢。 那里有什么build议?
我有一个根目录(在NAS上),我需要备份到另一台服务器。 该目录的层次结构是几层深的,大部分数据由位于整个层次中不同位置的大约十几个目录中的极大文件集合组成。 如果我在父目录上执行rsync,我可以获得大约100MB / s的吞吐量。 我已经testing了在不同目录下手动运行多个rsync进程,并且可以获得更高的吞吐量(350-500MB / s)。 我从目标服务器运行rsync。 我已经实现了一个天真的解决scheme,它只是使用直接在父目录下的目录拆分rsyncs,但是它需要更多的目标,因为其中一些目录比其他目录包含更多的数据。 理想情况下,每个进程将负责同步大致相同数量的数据。 有没有办法使用rsync,以便将任务分成n个 rsync进程,每个进程都有(大致)相同数量的文件。
在过去的两天中,我尝试将我的光盘备份到一个NFS共享。 但过了一阵子,rsync挂了。 每次在同一个文件。 但是,如果我排除文件,它会挂断下一个文件。 所以至less不是直接导致问题的文件。 如果我用strace来执行进程,我会看到一个ERESTARTNOHEAD错误和一些超时。 但我认为这些超时并不直接与问题直接相关,因为它们出现在实际的错误之前。 看来,ERESTARTNOHEAD是问题,但我无法find这个错误很多。 这个系统是一个Debian老式的NFS服务器和一个Ubuntu 15.10作为客户端 该命令是:rsync -av / home / myuser / nfs / backup strace的输出:
我遇到这个问题,如果我的rsync到亚马逊CentOS实例中断传输(例如Ctrl + C),后续login到服务器不再起作用。 服务器只是回应一个权限被拒绝。 我故意重新在服务器上的问题,并与另一个“工作”远程进行比较,并注意到下面的过程(通过netstat获得) /tmp/ssh-xxxxxxxxxx/agent.10287 被replace /var/run/rpcbind.sock 这无疑是失败的rsync的剩余。 我真正的问题是,如何防止这种情况发生? 这次我很幸运地保持了与服务器的连接,但是在真正的rsync情况下并不是这样。 我正在通过Mac OSX做这个btw。 编辑: 这些是/var/log/audit/audit.log中的错误 对不起,有点挖掘给了我这些错误信息(/var/logs/audit/audit.log) type=USER_AUTH msg=audit(1449596011.035:1271): pid=29682 uid=0 auid=4294967295 ses=4294967295 msg='op=pubkey acct="ec2-user" exe="/usr/sbin/sshd" hostname=? addr=xxxx terminal=ssh res=failed' type=USER_AUTH msg=audit(1449596011.071:1272): pid=29682 uid=0 auid=4294967295 ses=4294967295 msg='op=pubkey acct="ec2-user" exe="/usr/sbin/sshd" hostname=? addr=xxxx terminal=ssh res=failed' type=CRYPTO_KEY_USER msg=audit(1449596011.107:1273): pid=29682 uid=0 auid=4294967295 ses=4294967295 msg='op=destroy kind=server fp= 3a:38:b2:ce:9b:ad:68:7e:6b:26:10:aa:88:e4:32:cc direction=? spid=29683 suid=74 […]
我知道这似乎是一个反复出现的问题,但现在一直困扰着,所以如果有人有一个好主意,请让我知道。 我的设置 OS Debian Wheezy 硬盘 用于系统的2个240GB SSD (在RAID1中的sda&sdb – md0 = / boot md1 = / md2 = / tmp md3 = swap) 2 x 2TB SATA用于存储(RAID1中的sdc和sdd – md4 = / home) 计划程序设置 [cfq]驱动器sda sdb sdc sdd (从我的理解ionice只适用于cfq) cat / sys / block / md * / queue / scheduler返回none作为所有数组的唯一选项 远程存储 简单的远程存储空间没有运行rsync服务器/ deamon (因此不使用 […]
我们目前使用rsync将虚拟磁盘备份到另一台计算机上。 Rsync比直接复制慢,但只覆盖目标文件中的修改部分。 这使得快照有备份历史,所以我们有几个星期的历史,只有3.6 TB的存储(源文件是1.6 TB)。 除了速度慢以外,主要问题是rsync通常无法在大文件上执行任务,特别是当它们包含大量相同的数据(即未使用区域为零)时。 它永远挂起。 我们testing了xdelta和xdelta3,但是它们对大文件没有效率。 我们testing了rdiff,但这不是正确的工具。 我们testing了open-vcdiff,也不是正确的工具。 我们不需要能够在整个文件中find类似数据的工具。 我们只需要比较每个块的文件块,只有当它们不同时才将其转移。 问题:我们可以使用哪个工具来比较每块2个文件块,并传递差异?
如果源文件系统中没有任何变化,各种计算资源(CPU,RAM,networking等)上的rsync如何“昂贵”? 我有一个非常高的延迟networking中的两个弱服务器,文件偶尔出现(由于一个过程不受我控制),但我真的需要积极同步。 我正在做一个基本recursion发送整个文件夹。 如果在源文件系统上有100个GB或者可能有TB数据位于(大多数情况下保持不变),那么这是如何改变的呢? 源可能是一个CIFS挂载的共享,它不能与inotify工作,这就是为什么我要问关于rsync性能的特性,而不是其他镜像解决scheme。
我们正在运行一个10Gbit的服务器。 iperftesting完美:[3] 0.0-10.0秒10.6 GB 9.15 Gbits / sec 但是当使用rsync(在另一个端口上使用ssh时:rsync -Pe的ssh -p xxx),带宽很差:8,589,918,208 100%129.04MB / s 0:01:03(xfr#1,to-chk = 0/1 ) 什么可能导致这种限制? 谢谢
我刚刚设置了一个故障转移DNS来将网站切换到第二个主机,如果第一个是closures的。 这对于显示网站的旧版/归档版本非常有用,但是我怀疑维护将会是一个真正的痛苦。 我首先使用rsync移动文件。 这是否可以作为一个cron作业运行,自动移动较新的文件?
我在企业防火墙后面安装了Windows文件pipe理器,并在云安装中安装了基于Linux的文件pipe理器。 我一直在尝试使用rsync和ssh在Cygwin下从Windows文件pipe理器向Linux文件pipe理器传输文件的rsync-over-ssh隧道。 我遇到了Windows及其不区分大小写的NTFS的问题。 我有使用Windows文件pipe理器运行的应用程序,它们在访问文件时会改变Windows文件pipe理器上的文件大小写。 示例:在应用程序读取文件后,A.foo将被更改为a.foo。 从Windows应用程序的angular度来看,这是好的行为:A.foo和a.foo在不区分大小写的文件系统上是等效的。 但从同步的angular度来看,这给我带来了麻烦。 rsync进程没有将a.foo视为已更改的A.foo,而是将其视为一个全新的文件,并在rsync发生后在基于Linux的文件pipe理器上结束A.foo和a.foo。 有没有更好的办法做一个Windows文件上的文件rsync的同步文件与Linux文件上的文件一样安全的rsync-over-ssh方法,但没有文件大小写问题?