我有一个服务器上的日志文件的大目录。 所有的日志都在一个大目录中。 我们希望将这些备份备份到另一个主机(我们的存档服务器),并且只保留“活”服务器上最近90天的备份。 但是,由于我们使用此应用程序生成的日志数量庞大,我们将创build一个难以浏览的大量文件夹。 RSYNC可以根据文件的date(而不是当前的date)指定目标文件夹。 例如.. rsync <options> /logs/*.log ArchiveServer:/archive/ServerA/logs/<YYYY>/<MM> where application.20111230.log gets dumped to /archive/ServerA/logs/2011/12 and application.20120301.log gets dumped to /archive/ServerA/logs/2012/03 我可以将它们全部转储到一个通用的文件夹,比如/ archive / ServerA / Current /,然后,也许每周查找大于90天的文件,然后对它们进行sorting..但是直接在rsync中直接执行它似乎会更清晰我不会有两个地方查找日志取决于它是如何新)
我有这个crontab每5分钟运行一次: date >> ~/18/rsync.log rsync -vaz user@r18:~/assets ~/18 >> ~/18/rsync.log 2>&1 它每隔5分钟就把这个添加到日志文件中: Thu Aug 16 13:00:01 MSK 2012 receiving incremental file list sent 506 bytes received 541488 bytes 361329.33 bytes/sec total size is 12954651209 speedup is 23901.84 有时它增加了实际的转移日志: Thu Aug 16 13:10:01 MSK 2012 receiving incremental file list assets/response/20120816/ assets/response/20120816/1017161.doc assets/response/20120816/1017162.doc assets/response/20120816/1017163.doc sent 568 bytes […]
我有一个备份脚本安装程序,通过SSH将各种文件从一台机器复制到另一台机器上。 两端都使用Ext4,尽pipe接收端正在使用它的USB大容量存储设备(如果这有所作为)。 我有一个问题,即一些看起来随机的文件被列为每次我运行该脚本,即使他们没有被修改后重新审查。 我可以查看目的地,并且时间戳已经更新为复制期间的“现在”,尽pipe文件没有改变。 我发现这篇文章是关于与NTFS的rsyncing类似的问题,但时间戳问题不应该适用于Ext4。 以防万一,我已经尝试了 – 修改窗口(这不工作)和 – 神秘的工作 。 权限不应该是一个问题,因为我的用户在发送端是与我的用户在接收端相同,我没有指定任何forms的保存。 这是我的命令行: rsync -rvz –no-g –links –safe-links –delete-after –delete-excluded [source] [destination] 我已经validation过,删除和压缩选项不会因为临时删除它而搞乱它; 我仍然得到相同的随机文件,得到recopied。 下面是一个重新获取文件的例子列表: 来源(仅列出相关文件) /home/lytithwyn/Documents/: -rw-rw-r– 1 lytithwyn lytithwyn 11754 2012-08-04 13:44 family birthdays.ods -rw-rw-r– 1 lytithwyn lytithwyn 12897 2012-08-17 09:23 youth_fund.ods rsync输出 building file list … done Documents/family birthdays.ods Documents/youth_fund.ods 复制后的目的地(仅列出相关文件) /mattbackup/lithboxhome/Documents/: […]
在Scientific Linux 6上使用rsync( rsync-3.0.6-5.el6_0.1.x86_64 )将文件从VFAT磁盘传输到NFS挂载的ext3文件系统。 我在ext3系统上设置了ACL,并且在创build新文件或目录时(通过NFS挂载,通过命令行或Nautilus),所有这些都可以按预期工作。 但是,当rsync-ing或cp-ing时,不会为ext3分区上的复制文件创buildACL。 背景是VFAT来自相机,间歇地安装,并不创build文件或目录。 有没有一种方法可以让rsync(甚至是复制),即默认的ACL规则将ACL应用于rsync-ed或cp-ed文件和dirs?
我现在有一个备份解决scheme,使用rsync将远程站点的所有Linux服务器备份到总部的XFS驱动器。 我现在试图将我们总部的XFS驱动器中的文件夹rsync同步到另一个办公室的ZFS驱动器,以实现灾难恢复。 这不一定是问题,但我注意到ZFS上的文件夹比XFS上的文件夹大大约80GB。 有人知道这是为什么吗? 也许我可以怎样修复它。 XFS(HQ)= 905GB ZFS(DR)= 983GB 提前致谢。
为了这篇文章,我们假设我有一个名为“misc”的文件夹,它有100个子文件夹,命名为001到100.每个文件夹都有许多子文件夹和文件。 我想写一个rsync命令,recursion地只备份名为009,053和087的文件夹。 这个命令适用于备份整个“misc”文件夹: rsync -v –progress –recursive /home/user/misc /home/user/backup/misc 我已经做了几次尝试使用包含和排除参数(仅备份我想要的特定子文件夹),但每次尝试都会导致命令成功运行后,/ home / user / backup / misc为空文件夹。 有人可以添加到这个命令(上面)正确使用包含和排除参数来实现我正在尝试?
我正在尝试使用rsync和“–link-dest =”在服务器上创build备份副本(Debian Wheezy,LVM,RAID 1),目标是使用硬链接来节省空间。 不像什么可能是“正常”的用例,我想每天从一个Windows客户端备份到服务器上的一个名为“1”的文件夹(这部分工作,虽然我不使用rsync在这里做备份) ,然后closures“1”以创build30天的增量更改。 所以,“1”随客户端的每一天的备份而改变,但是由其创build的副本将包含较旧的文件版本,30天价值。 从http://blog.interlinked.org/tutorials/rsync_time_machine.html的一篇文章中可以看出如何使用rsync来模拟苹果的Time Machine,我有以下代码(目标path的“15/16”部分代表备份的date/时间): date=`date "+%Y-%m-%dT%H:%M:%S"` $UserNameVar=client8 rsync -aP –log-file=/home/User1/Desktop/rsync.log –link-dest=/home/$UserNameVar/share/Backups/1/current /home/$UserNameVar/share/Backups/1 /home/$UserNameVar/share/Backups/15/16/back-$date rm -f /home/$UserNameVar/share/Backups/1/current ln -s back-$date /home/$UserNameVar/share/Backups/1/current 代码运行,备份发生,最后一次备份和“当前”之间的链接被创build,后续备份速度非常快,但我可以告诉,备份与原始备份消耗相同的空间。 方法是否有缺陷,或者我的代码中有什么错误? 还是我需要一种不同的方式来计算实际的可用空间? 谢谢
我目前有一个专用的Ubuntu备份服务器,每天都会从挂起(使用rtcwake)唤醒自己。 5分钟后,一个cron BASH工作开始,使用rsync从各个networking位置提取文件。 如果这个BASH脚本完成了,它所做的最后一件事就是让服务器重新进入hibernate状态,直到第二天(备份作业开始运行之前的5分钟 – 您可以看到图片!)。 还有一个额外的cron作业,在10:45 pm运行,以“清除”任何正在运行的脚本/ rsync进程,然后暂停机器,直到第二天。 我的问题/查询是:机器是在一个慢速链接(802.11n无线),并必须同步一些非常大的媒体文件。 我正在使用与此类似的rsync命令: rsync -aPvz -e ssh –itemize-changes –modify-window=60 –exclude 'thumbs.db' /source/ /destination/ 而在rsync无法在服务器唤醒的时间内完成的情况下,我假定(因为-P)它会尝试从中断的地方继续。 实际上似乎发生的是,我最终得到目录中同一文件的多个部分副本,但副本从未完成。 例如: .BigFile.mkv.EJtNSS (4.1GB) .BigFile.mkv.KSUStW (3.7GB) .BigFile.mkv.LSewSA (4.3GB) 有没有人遇到过类似的情况? 如果有一块软件可以做类似的工作(包括处理睡眠/唤醒),我很乐意将它改变。 我是BASH脚本的新手,但尝试任何build议。 干杯,洛兹
我注意到,rsync有 –exclude=PATTERN exclude files matching PATTERN –exclude-from=FILE read exclude patterns from FILE 开关,但我不能只是从filter文件中排除我使用什么文件? cat << EOF >> $FILTER + /home – /*.iso – /*.mp3 – /* EOF 似乎没有工作。
每个系统pipe理员都知道,如果需要备份大文件(例如数据库文件), rsync是一种方法:因为它使用增量压缩,所以只会覆盖已经从原始文件修改到备份文件的块,从而避免很多开销。 然而,对于某些文件格式,例如gzip和bzip2 ,修改文件会导致整个块被再次复制,因为它会在文件结构中引起某种蝴蝶效应 ,即使只改变了几个字节也会引起修改。 那么,哪种压缩文件格式最适合rsync ? 相反,如果时间是黄金时,还有什么其他格式是必须要避免的,那么需要备份10K的数据呢?