我在Linux服务器上有大量的数据（300GB）。 现在，我想通过ssh使用rsync传输到另一台Linux服务器。 当我传输的数据在服务器中创build巨大的负载。 可以通过ssh传输大量数据，知道如何避免服务器负载？
我正在两台服务器之间启动一个rsync简单命令。 两台服务器在绑定时都有两个eth接口。 当我用rsync从一台服务器发送一个大文件到另一台时，我的传输速率达到了130M / s。 但是，这就是问题所在，当我发送一个有很多小文件的目录时，最好的传输速度是1M / s。 我已经检查了两个cpu负载（8cpu i7），他们在10％的最大值。 知道是什么让所有的传输速度变慢是文件的打开/closures，这个“理论上”在CPU上，我知道这可以很容易地调整。 但我不知道如何调整。 任何提示如何使rsync使用所有的CPU？
我正在尝试使用s3fs和Amazon S3服务来build立一个备份系统。 我遵循这个指南和本指南 。 我得到的Tailing /var/log/messages ： Aug 28 13:37:46 server s3fs:###response=403 我已经尝试创build身份validation文件/ etc / passwd-s3fs并设置访问权和私钥，并通过命令行传递它。 我检查了几次凭据，我用s3fox ，它正在工作。 我还设置了机器的时间（使用date命令）与Amazon S3服务器（我得到S3服务器上传文件pipe理器的时间）相同。 rsync不能正常工作，在/mnt/s3 ls或cp这样的命令也不起作用。
我的目标： 将我所有的DomUs从基于图像的转换为基于lvm的 最小的停机时间 最小的性能影响其他DomUs / Dom0 我的计划/设置： 我所有的镜像都是在一个很大的lvm卷中，新build立的所有lvs都是用文件系统（ext3 / ext4）创build的。 所以我的承诺是，为每一台机器做到这一点： 做一个大的形象LV的快照 挂载这个快照（例如在/tmp/img_snap/ ） 回送 – 挂载图像本身（例如，在/tmp/convert_src/ ） 挂载新的lv（例如on /tmp/convert_dest ） rsync从/tmp/convert_src到/tmp/convert_dest 卸下一切 删除lv快照 closuresDomU 再次执行步骤1-7 更改DomUconfiguration中的磁盘设置 再次启动domU 步骤1-7已经脚本化，所以在第9步我可以再次启动这个脚本。 这意味着一点点的开销，因为lv快照是没有必要的，但是我确定并意识到这一点。 由于原来的机器可以运行，直到步骤8（和步骤9应该只复制三angular洲），停机时间应该是最小的。 我也renice和ionice的rsync进程（ES），所以对其他所有系统的影响应该是最小的。 或者我以为… Debian lenny 从Debian的Xen 3.2 带有SmartArray控制器的HP ML350 G5（iirc：e220？） 通过SATA连接的驱动器 问题/问题： 这种方法是好的，并testing小图像，但我有一些大的图像400GB +。 这需要很长时间。 有没有更好的方法？ 有时 – 我不完全知道为什么 – Dom0的负载进一步上升，机器“卡住”，我得到像INFO: task loop27:23352 blocked for […]
我在Windows 7下使用cw-rsync将文件从本地机器上每天复制到在Linux机器上运行的rsync服务器。 它工作正常，除了我似乎无法正确排除目录名称的事实。 现在，在我的排除文件中，我有： My Documents/ My Downloads/ 这个工作，但也有排除任何名为“我的”或“文档”或“下载”的目录， 我试过在名称周围使用引号，但是这并没有帮助。 有任何想法吗？
我使用rackspace云网站，并没有在其服务器上使用SSH或RSYNC，但我可以访问SSHFS。 我想能够备份我的云网站到我的本地Ubuntu服务器，它有SSH，RSYNC等 到目前为止，我正在想办法做到这一点，最好的方法是使用以下方法在本地服务器上安装站点： sshfs [email protected]:/path-to-site/ ~/Sites_Mounted/site-name/ -o reconnect,cache=no,compression=yes,ServerAliveInterval=15 重新连接 – 如果连接断开，连接将重新连接 Cache = no – 因为我们希望实时备份不是旧的caching文件 压缩 – 最小化带宽使用 ServerAliceInterval – 由于SSHFS在很长一段时间后退出并崩溃 然后，我想着使用RSYNC命令将已复制的站点文件复制到本地服务器上的备份目录中，然后在下一次备份将在12小时后到期时，将备份目录复制/ RSYNC到一个新的备份目录（名称不同2012-01-01-sitename），然后使用RSYNC命令将远程服务器上的更改复制到包含旧/先前备份的新备份目录中。 我的问题是，这将进行工作吗？ 如果是这样，我需要使用哪些命令，并将所有这些命令都包含在一个可以运行的.sh脚本中？ 还是有一个更简单，更高效或更好的方法来做到这一点。 （我想我可以压缩整个网站的服务器上，下载，但这似乎有点资源沉重）
这个问题开始发生后，我改变了路由器 。 这是场景： Windows7主机 Ubuntu 10.04 Guest（VirtualBox） Ubuntu 10.04远程服务器 我以前做的是运行一个非常基本的rsync命令： rsync -avz –delete /local/path/ username@host:/path/to/remote/directory 这工作完美，直到我改变adsl供应商，我改变了路由器：现在，这发生了： 如果使用这个新的路由器，Ubuntu Guest上的rsync不再工作（对任何随机服务器） Ubuntu Guest上的rsync工作，如果我切换回旧的路由器 我尝试了一个新的虚拟盒Ubuntu安装，并且命令是与两个路由器工作 所以，非工作组合是oldUbuntu + newRouter。 为了让事情变得糟糕，我可以说（在不工作的Ubuntu上） 我ping远程主机 简单的SSH连接到远程主机工作正常（我可以身份validation，连接，并做远程主机上的东西） scp不工作（这只是我尝试的更进一步的事情） 这是执行的控制台输出，其中ssh verbose设置为vvvv： root@client:~# rsync -ae 'ssh -vvvv' /root/test-rsync/ {username}@{hostname}:/home/{username}/test/ OpenSSH_5.3p1 Debian-3ubuntu7, OpenSSL 0.9.8k 25 Mar 2009 debug1: Reading configuration data /root/.ssh/config debug1: Applying options for {hostname} debug1: […]
rsync通过比较大小和mtime来检测文件修改。 但是，如果由于某种原因，mtime不变，rsync将无法检测到这一变化，尽pipe可以通过查看ctime来发现它。 当然，我可以告诉rsync比较整个文件的内容，但这非常昂贵。 有没有办法使rsync更聪明，例如通过检查mtime +大小是否相同，并且ctime不比mtime（源和目标）都新？ 或者我应该打开一个function请求？ 这是一个例子： 创build2个文件，相同的内容和时间/时间 benoit@debian:~$ mkdir d1 && cd d1 benoit@debian:~/d1$ echo Hello > a benoit@debian:~/d1$ cp -aab 将它们同步到另一个（不存在的）目录： benoit@debian:~/d1$ cd .. benoit@debian:~$ rsync -av d1/ d2 sending incremental file list created directory d2 ./ a b sent 164 bytes received 53 bytes 434.00 bytes/sec total size is 12 speedup is […]
试图脚本尽可能干净，我想知道是否有一些解决scheme的以下情况： 一台Linux服务器运行sshd和一个android设备，并安装了dropbear ssh客户端和rsync（无服务器）。 我正在写一个脚本，以远程运行一个cron备份Android内存到Linux服务器。 cron调用类似于： ssh remoteuser@linuxserver -i path_to_rsa_key runthisscript.sh runthisscript.sh用现有的数据执行一些操作，而在脚本中间我想做的是从android设备的rsync返回到服务器，利用已经打开的ssh连接（因为在android上没有sshd运行）。 我已经开发了其他的解决scheme，比如把我的服务器脚本分成几部分，然后一个接一个地调用它们，在中间使用rsync（android to server方向），但是我正在寻找一个更加优雅的解决scheme（单个脚本，大多数在服务器端完成的工作）。 想法？
我们有越来越多的数据文件（.wav文件，图像文件等）是数据，即不是应用程序代码的一部分 – 用户上传和修改。 文件数量在1000年，总大小达到GB。 我们在世界各地（美国，欧盟，缅因州）拥有多个服务器集群。 在每个集群中，重要的是数据是在本地而不是从S3（数据文件不直接提供给客户端，而是由服务器处理）提供的。 我们希望在每个位置指定一个文件服务器，通过NFS将这些文件提供给同一个群集中的其他节点。 所以底线是： 通过应用程序上传的文件应该在S3上结束。 每个文件服务器节点都应该复制这些文件。 我们看到几个选项： 使用复制到S3进行备份/版本控制的origin文件服务器以及通过rsync （或类似）进行复制的节点。 同上，但奴隶复制S3使用类似S3工具或类似的东西。 不使用origin – 应用程序代码直接上传到S3 ，奴隶复制如上。 我们想知道哪个是推荐的解决scheme，哪些工具可用于复制部分（即在文件系统到文件系统类别以及在文件系统/ S3类别中）。