我有两台运行CentOS 6.5的戴尔R515服务器,其中一台Broadcom网卡直接连接到另一台。 我使用直接链接,通过ssh使用rsync,将备用服务器中的主服务器每天晚上推到备用服务器上。 监控stream量,我看到吞吐量约为2MBps,远远低于我所期望的千兆端口。 我已经把双方的MTU都设置为9000,但是这似乎没有改变任何东西。 是否有一组build议的设置和优化可以使我获得最大的可用吞吐量? 而且,由于我通过ssh(或可能只是NFS)使用rsync来复制数百万个文件(约6Tb的小文件 – 一个巨大的Zimbra邮件存储库),所以我正在寻找的优化可能需要针对我的特定用例。 如果有问题,我使用双方的ext4 谢谢 编辑:我已经使用以下几乎相似的结果rsync选项: rsync -rtvu –delete source_folder/ destination_folder/ rsync -avHK –delete –backup –backup-dir=$BACKUPDIR source_folder/ destination_folder/ 目前,我正在通过同一直接电缆链路,在使用cp到NFS导出时看到相同级别的性能不佳。 编辑2:完成同步后,我可以运行iperf ,发现性能是在990Mbits / sec左右,慢的是由于实际的数据集在使用。
我想知道是否有可能的rsync复制一个目录到多个远程目的地,一口气,甚至并行。 (没有必要,但会有用。) 通常情况下,像下面的东西会工作得很好: $ rsync -Pav /junk user@host1:/backup $ rsync -Pav /junk user@host2:/backup $ rsync -Pav /junk user@host3:/backup 如果这是唯一的select,我会使用它。 然而,/ junk位于一个缓慢的驱动器上,有很多文件,每次重build约12,000个文件的文件列表比实际的传输/更新要慢得多(〜5分钟)。 是否有可能做这样的事情来完成同样的事情: $ rsync -Pav /junk user@host1:/backup user@host2:/backup user@host3:/backup 感谢您的期待!
我有一个cronjob: 0 9 * * * rsync -a mydir remote_machine: 我用'crontab -e'安装了这个。 我有一个ssh代理程序运行,当我执行rsync命令本身,它工作不W / o任何用户交互或密码input,但cronjob失败,出现以下消息: Date: Wed, 9 Dec 2009 11:11:00 -0600 (CST) From: Cron Daemon <me@my_machine.my_domain> To: me@my_machine.my_domain Subject: Cron <me@my_machine> rsync -a /home/me/mydir remote_machine: Permission denied, please try again. Permission denied, please try again. Permission denied (publickey,gssapi-with-mic,password). rsync: connection unexpectedly closed (0 bytes […]
我有一个运行FreeNAS 8的家庭文件服务器。前几天我使用rsync从Mac上传我的整个iTunes资料库,这样我就可以通过networking加载我的资料库,而不是慢速的USB驱动器。 这大部分工作,iTunes现在运行得更好,但我遇到的问题访问任何非ASCII字符的歌曲(我第一次注意到加载Queensrÿche轨道时的问题)。 这些文件将显示在Finder中,但是任何尝试访问它们都会使它们消失,直到重新连接到服务器。 经过一番研究,我发现这是因为OSX使用了Linux中不同的UTF字符顺序。 OSX文件系统使用Unicode规范化表单D(NFD),其中linux使用表单C(NFC)。 当Rsync执行从我的mac到服务器的副本时,它不会转换这些表单,现在当iTunes试图通过networking访问具有特殊字符的文件时,服务器上的文件具有错误的编码和afpd报告,不存在。 解决这个问题的最好方法是什么? 是否有可能使rsync执行unicode转换,而上传基础库到服务器? 我可以configurationafpd以NFD格式发送/接收文件名吗? 有一个简单的解决scheme来更改服务器上的文件名? 我发现了一些关于名为convmv的程序的东西,但我不知道是否可以在FreeNAS上运行。
我用cygwin备份了一个使用rsync的linux web服务器。 我现在在我的Windows笔记本电脑上有一个完美的服务器副本。 如果我删除或修改我的笔记本电脑上的文件,并再次用cygwin运行rsync它会删除/更新服务器上的同一个文件? 我的印象是,如果我删除/修改服务器上,并在我的笔记本电脑上运行rsync它将删除/修改我的笔记本电脑上的本地文件,但这是否反向工作?
有时,我不得不在我的服务器上的数据文件上执行一些大的迁移更改,我正在寻找一个很好的方法来做到这一点。 我正在考虑使用rsync从根数据文件夹开始复制我的目录结构,创build所有原始文件的硬链接(其中一些文件比较大),而且只能在目标树中覆盖需要迁移的文件。 最后,我可以安全地从两个mv操作从旧文件切换到新文件。 但是,我似乎无法得到rsync来做到这一点。 我试过了 rsync -a –link-dest=$DATA $DATA $DATA/../upgrade_tmp 但不是创build文件的硬链接,rsync完全复制它们。 使用相同的源和链接目录目录是否有问题?
我在许多Linux服务器上运行了许多Xen虚拟机。 这些VM将其磁盘映像存储在Linux LVM卷中,其中的设备名称沿着/ dev / xenVG / SERVER001OS等行。 我想定期对这些磁盘映像进行备份,以便我们可以在需要的情况下恢复虚拟机(LVM设备已经在两台物理机之间使用DRBD进行镜像,这里我只是偏执狂)。 我如何去做这件事? 显然,第一步是快照LVM设备,但是如何以最有效的方式将数据传输到备份服务器? 我可以简单地复制整个设备,大致如下: dd if=/dev/xenVG/SERVER001OS | ssh administrator@backupserver "dd of=/mnt/largeDisk/SERVER001OS.img" …但这需要很多带宽。 是否有一个类似rsync的工具来同步远程服务器之间的整个磁盘块的内容? 就像是: rsync /dev/xenVG/SERVER001OS backupServer:/mnt/largeDisk/SERVER001OS.img 如果我正确理解rsync的手册页,上面的命令实际上不会工作(是吗?),但它显示了我的目标。 我明白–devices rsync选项是复制设备本身,而不是这些设备的内容。 在与远程服务器同步之前制作VM镜像的本地副本不是一个选项,因为没有磁盘空间。 是否有一个方便的工具,可以在块设备和远程服务器上的备份文件之间同步? 如果必须,我可以写一个,但现有的解决scheme会更好。 我错过了一个rsync选项,为我做这个?
我非常高兴地使用rsync来备份我的服务器,尽pipe我对于–delete-excluded参数有一个疑问。 /usr/bin/rsync -a –delete –numeric-ids –relative –delete-excluded –rsh=/usr/bin/ssh root@server01:/etc /.snapshot/hourly.0/server01 从man rsync : –delete-excluded also delete excluded files from dest dirs 对我来说,非英文本地,这意味着rsync将从远程服务器上的实际目标目录中删除排除的目录,所以如果我有我的排除文件夹中的/home/backup和/home/settings ,那些文件夹实际上是从远程服务器删除 ,。 从其他几个资源看来,它会从本地备份文件夹中删除文件,以节省空间。 例如,您可以在服务器上创build小型备份,并排除这些数据,这样就不会浪费存储空间。 对于我来说这是非常重要的,尽pipersync只是单方面的工作,正如人们所说的那样,我不希望冒任何风险来使软件删除远程服务器上的文件/目录。
我正在研究目录复制的rsync脚本。 我只同步它只是新的和修改的文件或目录,但我不喜欢这样的事实,它复制重命名文件或目录作为一个新的文件或目录,保持文件不同步。 我还设置了1MB的带宽限制,因为这将在业务工作时间内运行。 这是我的脚本: rsync -zvru –bwlimit=1024 /mymounts/test1/ /mymounts/test2 如果有人重命名某些内容,仍然只能复制新文件或修改过的文件,如何使文件和目录保持同步? 这里是有问题的文件 ls "/mymounts/test1/some stuff" new directory newfile1.txt newfile3.txt renamedFile.txt ls "/mymounts/test2/some stuff" new directory newfile1.txt newfile2.txt newfile3.txt renamedFile.txt 或者有没有办法甚至将重命名的文件移动到另一个目录说: /mymounts/VerControl ?
我试图从我们的洛杉矶数据中心的一台Linux服务器上复制一个75GB的tgz(mysql lvm快照)到我们纽约数据中心的另一台Linux服务器。 我得到大约20-30Kb / s的rsync或scp在200-300小时之间波动。 目前这是一个相对比较安静的环节,因为第二个数据中心还没有启动,而且我从小文件传输中获得了出色的速度。 我跟着不同的tcp调优指南,我发现通过谷歌无济于事(也许我正在阅读错误的指南,得到一个很好的?)。 我已经看到了tar + netcat的隧道提示,但是我的理解是,只有在文件被有效地完成传输的时候才会更新你的小文件。 之前我诉诸硬盘驱动器,有没有人有任何好的投入? 更新:嗯…它可能是链接afterall :(请参阅我的testing下面… 从纽约转到洛杉矶: 获取一个空白文件。 [nathan@laobnas test]$ dd if=/dev/zero of=FROM_LA_TEST bs=1k count=4700000 4700000+0 records in 4700000+0 records out 4812800000 bytes (4.8 GB) copied, 29.412 seconds, 164 MB/s [nathan@laobnas test]$ scp -C obnas:/obbkup/test/FROM_NY_TEST . FROM_NY_TEST 3% 146MB 9.4MB/s 07:52 ETA 获取快照tarball。 [nathan@obnas db_backup]$ ls -la db_dump.08120922.tar.gz […]