Articles of rsync

rsync会比tar,wget和untar更好吗?

我正在迁移到一个新的服务器,以及HTML / PHP文件,有一个目录,其中包含大约90,000文件总共24GB的大小,需要移动。 当我进行testing迁移时,我使用了tar来创build一个tar包,然后在新主机上wget,然后提取tar文件,但是,虽然工作正常,但大约需要3个小时才能完成。 这将会有3个小时的停机时间,而我在实际迁移时这样做是为了确保没有新文件进来或文件被更改等。 我现在正在计划实际的迁移,并试图find更快的方法这样做,并想知道如何使用rsync – 我只有在本地使用rsync,只有less量的文件,所以会运行rsync对90k项目比上述更快方法? 只要实际过程完成得更快,我就不用担心CPU,内存或networking的使用了,因为无论如何,这个过程会在几个小时之内完成。

rsync脚本提供的密码

我需要通过ssh定期从远程主机获取脚本rsync文件。 运行该脚本的帐户在远程主机上没有主目录,所以我无法将我的公钥存储在远程主机上。 我很高兴将我的密码存储在本地主机上的文件中,但似乎无法使rsync使用密码。 –password-file选项只是连接到rsync守护进程的一个选项,密码提示不会从stdin读取。

需要每10秒钟检查一次目录树的更改,如果更改,则运行脚本

我有一个目录,里面有很多带有代码的文件夹,我需要运行一个脚本来将rsync转换到其他服务器上。 我有这个脚本编写和工作正常,但我找不到将检查目录树的变化。 我尝试统计,但只检查一个文件夹,而不是recursion(据我所知)。 任何人都知道我可以安装的命令或程序来做到这一点? 我使用Ubuntu 10.04。 提前致谢。

rsync备份:无 – 删除选项和旋转…?

使用rsync(没有–delete选项)来进行我的日常备份并且在备份服务器上只保留一个副本(而不是有多个循环副本)是否合理安全? 如果我不启用–delete选项,任何备份文件将不会被删除,正确的? 谢谢

rsync拉忽视我的umask,为什么?

我的umask是0002 。 所以当我rsync -r me@remote:new . ,为什么结果小组可写? drwxrwsr-x 10 root developers 4096 Aug 22 12:55 . drwxrwsr-x 12 root developers 4096 Jul 14 19:05 .. drwxrwsr-x 3 root developers 4096 May 16 15:04 old drwxr-sr-x 4 aaronadams developers 4096 Jun 26 15:17 new

如何检查rsync备份是否成功?

我使用rsync -a在文件系统上进行完整备份。 它输出到stderr是空的。 我应该做一些额外的检查,以validation备份是否成功? 例如,我怎样才能做校验来validation? 下次我用rsync做增量备份的时候,校验和的检查方式是一样的吗? 增量备份将与完整备份中未更改的文件具有硬连接,并且尽pipe增量备份成功,是否会使源和增量备份的校验和不同? 我的操作系统是Ubuntu 12.04。 谢谢。

为什么FileZilla的SFTP文件传输的上限是1.3MiB / sec,而不是使可用带宽饱和? rsync和WinSCP甚至更慢

我正在从服务器上下载,使用FileZilla以1.3MiB /秒的速度下载,但我可以开始并发下载,并且也将以1.3MiB /秒的速度下载。 那么,为什么我不能以高于1.3MB / s的速度下载一个文件,接近饱和可用带宽(〜6 + MB / s)呢? 我知道我可以使用其他一些支持分段下载的SFTP客户端,比如lftp,知道其他开源的好东西吗? 但是我还是想知道将下载一个文件限制在1.3MB / s是什么限制,用TCP和缓冲区等一些技术限制还是一些configuration问题? 我检查并确定FileZilla中没有启用stream量限制。 另外我尝试了rsync,它比FileZilla / SFTP更糟糕。 我也尝试过WinSCP,而且不pipe方法SCP / SFTP都是最慢的。 所以在1.3MB / s的不断传输下,FileZilla与其他传输方式相比是相当不错的。 如果有人有一个很好的解释,为什么传输高峰在1.3MB /秒,我真的很想知道,如果有可能增加这一点,而不诉诸使用分段下载。 服务器运行OpenSSH 6.7p1(Debian)客户端是Windows上的FileZilla。 更新:为了响应马丁的信息(请参阅下面的答案),我添加了ping是180ms到190ms之间的服务器和客户端下载相当不变。 此外,CPU使用率非常低,最高为2%到8%。 我尝试了最新版本的winscp 5.73和sftp模式,我用scp模式得到了555kb / s和大约805kb / s的最大值。 而如果我在Filezilla中启动一个辅助并发传输,我也会得到1.3MiB / s的恒定传输。 那么,如果马丁和迈克尔碰触了一下,180毫秒延迟到服务器是math上的限制因素吗? 还是还有其他的东西可以怪罪我可以提高吞吐量? 如果没有,我会很感激,如果有人知道任何其他(如lftp,但在Windows上运行良好)的开源下载器是安全的,并支持分段下载。

rsync – 排除除less数几个以外的所有目录

在这方面似乎有很多SF和SO的问题,但没有一个符合我的要求。 source_dir/ some_dir/ another_dir/ some_file.php some_other_file.txt include_this_dir/ include_that_dir/ yet_another_dir/ 所以我想rsync其中两个dirs,而排除其余的。 排除除这两个目录以外的所有其他文件是很重要的,因为可能有其他文件在稍后的date被添加到source_dir,并且需要排除而不被明确列出。 我试过了: rsync -av –dry-run –delete –exclude="source_dir/*" (or just "*") –include-from="include.txt" source_dir dest_dir 和我的include.txt了 include_this_dir/ include_that_dir/ 我也尝试添加 source_dir/ 没有快乐。 根本没有包括在内。

最好的在线备份提供商与简单和安全的FTP服务器

我正在寻找从Linux服务器的一些数据的在线备份。 数据量现在非常less,不可能超过10 GB左右。 我已经设置了一个cron作业,压缩和encryption数据并将其上传到FTP服务器 – 我需要的只是FTP服务器。 我正在寻找一些可靠,安全和不可笑的东西。 理想情况下,我不想安装任何第三方软件,只是使用FTP或scp。 如果服务器在欧洲,那将是一个加号。 我读过一些类似的问题,比如Mozy,Dropbox,Backblaze等等,但是这些都需要自己的软件,这些软件确实是我不需要的东西。 我只需要FTP空间。 你有什么build议,最好从经验?

如何保持负载平衡服务器即使删除文件同步?

我最近为我们的网站设置了一个负载均衡的解决scheme。 我们主持了大约200个网站,我们的自定义应用程序运行最多,但有些运行wordpress博客(文件可以上传/删除)。 该设置是基本的: |——————-> Apache1 | HAProxy -| | |——————-> Apache2 我已经将Apache1设置为“主”,因此,使用以下命令,每分钟对其进行的大部分更改都将rsync转换为Apache2 : rsync -av –delete apache1:/var/www/html/ /var/www/html/ 问题是,正如前面提到的,在某些情况下,文件被添加/删除在Apache2 。 我到目前为止唯一的解决scheme是让Apache1 rsync将某些目录(例如wp-content)中的所有文件都Apache1到自己(而不是删除)中,然后将所有文件都推送回Apache2 。 这有缺陷,主要的是: 这两台服务器最终将获得在Apache2上被删除的额外文件 当我添加更多的服务器,rsync脚本将需要更长的时间才能完成。 有没有任何方法来保持2+ Web服务器同步,考虑到两台服务器可以添加,更新和删除文件?