Articles of rsync

考虑到性能和速度,使用rsync将大文件备份到外部驱动器(NTFS)

当前文件从一个外部硬盘驱动器备份到另一个硬盘驱动器,以便在主要外部硬盘驱动器变得不可用时提供从辅助设备恢复的能力,例如硬件故障。 目前的方法是基于Microsoft Windows的使用。 所有的备份都将在运行Ubuntu 14.04的Linux设备上执行。 所有的外部硬盘都使用TrueCrypt进行encryption,并且已经使用NTFS进行了格式化,因为它们也用于Linux以外的其他操作系统,如Microsoft Windows。 文件也在Microsoft Windows上创build并存储在这些设备上。 文件大小从100KB到10GB不等。 大约有一百万个文件,这个数量还在不断增长。 要求 在外部硬盘上的性能。 目前所有的驱动器都是USB 2 转移的速度 计算阈值或考虑因素。 目前执行备份的设备是i3,i5,i7,至less有8GB的内存 保留权限等 深度path。 一些path遍历20或30层 对外部硬盘的使用寿命影响极小 如果可能,避免更改文件系统 整个副本是好的,增量或差异不是必需的 校验和确保文件已成功提交 日志 在发生故障时恢复传输的能力 现在已经提到了使用交换机或诸如inplace选项,但是关于利用NTFS文件系统的encryption驱动器的额外注意事项的信息很less。 编辑 以当前尝试的命令为例, rsync -vrlptg /media/drive1 /media/drive2 必须包括哪些其他开关/选项来支持这些要求?

在networking文件系统断开连接后继续写入文件

我正在尝试以一种能够在客户端和服务器之间的networking分区上运行的方式传输巨大的日志文件。 如果networking连接丢失,由于严重的networking使用限制,我不能重新传输整个文件。 我只会同步一个正在进行的压缩版本如下 tail -f logfile | xz -3 -c > syncThis.xz 我发现有多个选项可以持续进行转移。 我能理解的最好的是rsync –append 。 如果连接断开,rsync将失败,那么我可以重新运行命令来恢复传输。 另一种select似乎是sshfs或nfs,有或没有autofs。 其中一个上面的命令会改变 tail -f logfile | xz -3 -c > /mountLoc/syncThis.xz 并且不需要rsync 。 问题是这样的 :对于networking文件系统,如果我继续附加到一个同步文件,然后networking切断然后恢复,文件的所有剩余附加将自动传输,类似于rsync –append做? 如果这不是默认的,是否有一个设置来启用这样的事情? 我想这样的文件系统将不得不跟踪在这个临时文件上只有附件发生的事实。

如何创build图像文件并通过安装。 回环(Ubuntu到远程备份空间)

我已经摆弄Hetzner备份空间,我想通过使用rsync。 rsnapshot为了备份我的文件(更多信息在他们的Wiki这里 ) 他们在文件中声明: 直接使用rsync是不可能的。 但是,备份空间可以使用smbfs,sshfs或ftpfs进行本地挂载,这允许有限地使用rsync。 要充分利用rsync(如使用硬链接的增量备份),必须创build一个映像文件,并通过loopback进行挂载。 除此之外,还可以通过encfs(encryption文件系统)添加encryption来保护数据。 我已经通过使用Curlftpfs给它一个刺,而且,因为它可以预期,不能很好地工作 – 我挂起和超时,以及过多的错误。 我想尝试更正确的解决这个问题的方法,正如上面所说的那样 – 但是我怎样才能真正做到这一点呢? 我试着用Googlesearch这个问题,但是那里的信息有冲突和混乱。 encryption对我来说不是必须的。 我只想要一些有用的东西,越简单越好:)

rsync:最大限度地保持系统响应

不幸的是,后台rsync降低了服务器的响应速度。 我search了一个方法,使这个后台任务有最大的好处,以保持服务器响应速度。 我目前的包装命令是这样的: nice -n19 ionice -c3 nocache 来源: https : //askubuntu.com/a/159012/42348 还有什么我可以做的,以尽可能保持备份rsync在后台? 一个解决scheme是使用带宽限制,但我想避免这一点。 我想将这种模式应用于多个服务器,并且计算每个服务器的匹配带宽限制(因为每个服务器是不同的硬件和不同的networking连接)是很困难的。

无法访问由qnap服务器上的rsync创build的文件夹

我正在尝试使用RSync将我的文件备份到我的QNap Turbo Nas。 我已经激活了rsync服务,并创build了一个名为“RSync”的私人共享文件夹。 在我的Windows机器上,我将networking驱动器映射到该共享(Y :)。 我为每台想要备份的机器创build了一个共享文件夹。 然后我执行了下面的命令: rsync -rtv /cygdrive/c/data rsync://user:password@qnap/RSync/laptop 它成功地将数据文件夹中的所有文件复制到qnap服务器。 它在“laptop”下创build了一个名为“data”的文件夹。 但是,当我打开驱动器Y:并进入文件夹“笔记本电脑”,当我试图打开“数据”,我得到一个“访问被拒绝”的错误。 在qnap上的rsyncconfiguration中,您必须指定一个用户名和密码。 我试图使用该用户名/密码login到qnap / RSync,但它被拒绝。 它也不会让我直接连接到qnap / RSync /笔记本电脑/数据。 然后我把rsync上的用户名/密码重新configuration成和我可以连接到qnap / RSync的用户名/密码一样,并且再次运行rsync(在首先销毁私人共享文件夹并重新创build之后)。 我可以使用该用户名/密码连接到qnap / Rsync。 我可以进入文件夹“笔记本电脑”,但它仍然拒绝我访问文件夹“数据”。 我需要做什么,以便rsync可以将每台机器备份到qnap服务器上的共享文件夹上的自己的文件夹,还可以使用Windowsshell进入这些备份并打开每个文件夹和文件?

Inotify&Rsync – 在下载完成之前不要移动文件

我正在使用本地网站下载文件到我的服务器。 使用Inotify守护进程我正在侦听特定文件夹(我正在下载的文件)中的文件更改,并执行一个使用rsync将这些文件移动到另一个文件夹的脚本。 但是我的问题在于,rsync在完全下载之前移动文件,因此它们的大小是0KB。 我之前使用过mv,mv设法等到下载完成才移动,但是我需要使用rsync,因为mv不会写入现有的非空文件夹。 有任何想法吗? 这是我的脚本执行inotify创build: #!/bin/sh cd the_folder_which_is_watched_by_inotify rsync -vh * /where_the_files_are_moved_to echo "Files have been moved"

rsync – 在“uid”中使用另一个用户比root用户

我正在尝试在Synology DS的超级备份中定义一个RSync备份作业,将我的档案从Synology DS备份到运行Ubunut 14.04的Linux伺服器。 这里是我的rsync.conf文件的副本 use chroot = true read only = false uid = rsync-user gid = rsync-user transfer logging = true log format = %h %o %f %l %b log file = /var/log/rsyncd.log [MyBackup] path = /data/backup comment = Backup directory auth users = mysyncuser secrets file = /etc/rsyncd.secrets “rsync-user”是Linux Server上具有loginfunction的本地用户: rsync-user:x:10001:10001::/home/rsync-user:/bin/bash 并且是“/ […]

scp和rsync到远程服务器速度慢,停顿,有什么可以的事情?

当我使用scp将大文件(100 + mb)复制到远程服务器时,它会从1 mb / s减速到100 kb / s,然后停止。 当我尝试使用rsync时也是如此。 我已经能够在这两台机器之间使用SCP传输大文件了。但是在过去一周里,我似乎无法发送任何东西。据我所知,没有任何变化。 我已经检查了两台电脑的可用空间和CPU / MEM使用情况。 他们看起来很好。 请帮忙吗?

rsync删除源文件,如何在杀死进程后恢复?

我正在使用rsync和remove-source-files选项,如下所示: rsync –remove-source-files -arzvv –append /src /dst 但由于某种原因,它失败(断开连接或操作系统杀死它的过程),我想知道如何恢复/恢复失败文件传输,如果我再次运行它? 在转移到新目的地之前是否可能删除了我的数据?

备份的备份。 需要咨询

我正在创build一个定制的NAS /微型服务器的过程。 这将是一个i3处理器,6个4tb raid 1台电脑。 尽pipe到目前为止实际上使用了大约4TB。 我一直在研究创build一个像云存储系统这样的异地备份,这将允许我在夜间rsync文件。 到目前为止,要么是太昂贵,要么限制能够上传的文件的大小/types – 有些超过50GB。 我想,也许我可以在我父母家中存储异地备份,但我想知道关于异地设备。 我有几个树莓派3的备用和一些4TB的外部驱动器。 我正在考虑使用这些,或者购买一个便宜的2-bay NAS来存储我的父母。 只是想知道Pi是否足够,或者我应该购买一个廉价的NAS,如Synology或DLink – 很多是rsync能力。 我怀疑在最初的备份后,平均每晚大约15-20GB。 任何意见/build议,不胜感激。 谢谢