Articles of rsync

法律发现 – 如何search关键字的.eml文件,并将结果复制到macOS / Unix上的另一个文件夹?

我有一个Kerio Connect邮件服务器,它将所有电子邮件以相对标准的邮件假脱机文件夹结构保存为原始的.eml文件。 我的任务是对关键字和电子邮件地址的某些用户邮箱执行关键字search。 然后我需要将find的文件复制到另一个文件夹。 文件夹结构将如下所示: mail example.com user1 INBOX Sent Items etc user2 INBOX etc 困难在于,作为.eml文件的电子邮件在每个文件夹中都用一个序列号命名 – 所以如果在user1的收件箱里find一个名为00000123.eml的电子邮件,并且在他们的已发送邮件中有同名的电子邮件,其中的关键字,我不希望一个复制在另一个的顶部。 我还需要执行一些不区分大小写的关键字search,以便search“关键字”并将其与关键字和关键字以及KEYWORD进行匹配。 我认为下面的命令会做我想做的事情,但是我不是100%确定的,而且我正在运行这个大约100 GB的eml文件,所以我想确保它在运行之前都是正确的。 grep -i -r -l -e "[email protected]|[email protected]|keyword1|anotherkeyword|evenmore" /usr/local/kerio/mailserver/store/mail/example.com/user1/ | xargs -I{} rsync -Rv {} /Volumes/Data/Email\ Discovery/201706/user1/ 根据我的统计,这将做一个不区分大小写的search(-i)recursion(-r)打印文件名(-l)并使用正则expression式(-e),然后将结果传递给rsync,它将recursion地复制到目标文件夹和(希望)保持相同的文件夹结构。 有没有更有效的方法来做到这一点?

数据传输与权限(AD)从Windows到Linux

好日子的朋友,我有一个从Windows服务器(集成活动目录)到Linux服务器的数据(文件和文件夹)传输的问题。 活动目录在用户级别和组级别提供权限,并且要求当他们到达linux服务器时,权限仍然存在,因为他们将继续被windows机器访问。 数据传输没有问题(rsync)。 问题出现在文件和文件夹的权限。 从linux执行的命令是: mount -t cifs //192.168.36.115/compartido1 /mnt -o username=administrator,work`enter code here`group=testlab rsync -aArz /mnt/wcordero/* /gpfs/gpfscl1/compras/ //192.168.36.115/compartido1 =旧的NAS Windows / mnt / wcordero / * =传输path / gpfs​​ / gpfs​​cl1 / compras / wcordero =最终path 到左边的窗口。 到右边的linux 我已经尝试使用rsync -p,-A的选项,结果是一样的。 我感谢你的合作 ps:我已经在windows cmd中使用了robocopy,它满足了需求,但性能不是最佳的(由于数据量),我想从Linux做到这一点。

如何减lessrsync备份过程中的IO等待时间?

我有以下情况:networking中有一组机器(NAS和其他“服务器”)。 还有一台机器用于备份。 它使用rsync定期从所有4台机器收集数据,并创build增量备份。 备份是拉式的,所有的脚本都运行ionice -c idle nice -19 。 为了监督整个系统的稳定性,在所有的Linux机器上都安装了一个监控系统(munin)。 Munin以不同的系统variables和状态每隔10分钟查看一次,并在出现问题/警告时发送邮件。 在备份结束时(特别是在最大机器的长时间运行备份之后),每天晚上,munin都会抱怨高磁盘延迟。 我已经推高了被接受的限制,但是在这样的备份结束时,IO等待时间还是在10秒以上。 在我看来这似乎相当高。 备份脚本是由我自己写的。 我需要与程序rsnapshot类似的方法,但稍作修改。 因此,我自己创build(functionless得多)。 实际上,它将远程计算机rsync到除了其他备份之外的临时文件夹,然后相应地旋转/删除旧的备份。 根据我迄今为止的研究,在编写新的备份(主要是硬链接)或轮换/删除备份时会发生问题。 由于慕尼黑的粒度只有10分钟,我无法确切地知道问题在哪里。 备份的目的地位于抽象层链上:物理分区被收集在一个大的RAID5arrays(mdadm)中。 md设备用作LVM PV。 VG内部是一个大的分区(除了其他未encryption的分区),它使用LUKS进行encryption,第二个LVM驻留在该分区内,并允许将存储分配给不同的分区。 networking上的任何研究都主要导致了这一层networking连接和延迟的问题。 虽然我的备份也是通过networking完成的,但这里的问题是备份服务器上的本地性能。 我到目前为止所做的: 减less脏页面比率,使磁盘先写入数据,以避免滞后。 因为大多数数据在运行之间是恒定的,所以–bwlimit将不起作用,因为硬链接是在本地创build的。 正确? 我想如果错位的分区或不匹配的RAID块大小可能会导致这种问题。 虽然我不知道如何validation。 整个脚本从cron运行。 我添加了ionice / nice但没有太大的区别。 我安装atop机器上,以查看其他进程。 我没有看到任何exception(除了备份结束阶段的大部分时间100%的iowait CPU)。 现在我想问几个问题: 谁能告诉我这个问题可能是什么? 难道这只是一个衡量问题吗? 我的意思是在备份机器上没有其他负载。 难道是因为没有其他进程正在运行rsync进程饿死了任何io操作? 所以如果有另外一个进程,它将首先被服务,但是因为没有,所以磁盘的使用率很高,而且这个rsync进程的写入延迟非常高(这是可以的)。 我不知道在哪里寻找问题。 你能给我build议如何进一步追查问题吗? 为了使我的陈述清楚:我很清楚,在写入文件/创build链接时,进行备份会给系统(特别是在磁盘上)带来相当大的负担。 如果您需要更多信息,请告诉我您需要什么。

Windows上的rsync性能不佳

我刚刚使用cwrsync (rsync的Windows编译)设置了Windows 2000 Server和Windows 2003 Server之间的文件同步。 它很容易安装,似乎工作得很好,但我看到一个速度的问题,客户端似乎无法达到130 Kb / s,尽pipenetworking能够提供1 Mb / s的FTP。 任何人都经历过这个,find了解决办法? 我目前使用一种解决方法,在同一台服务器上同时运行三个rsync进程。 所有这三个进程都达到了130Kb / s。

关于rsync的几个问题

我们有一台服务器运行一个运行Linux的ext3驱动器,然后是另一台运行Windows的NTFS驱动器的工作站。 当用户使用Windows时,他们使用NTFS,当他们在Linux中时,他们直接连接到ext3。 我们使用rsync将文件从ext3复制到NTFS,效果很好,但是当我们删除ext3上的文件时,我们也希望它们在NTFS上被删除,而我们使用–delete-after来做到这一点。 它工作得很好,但我们希望它查询用户是否要删除文件。 这样可能吗? 也有时用户使用ext3然后进入Windows并使用NTFS并进行更改。 现在,如果我们将ext3同步到NTFS,那么在此之前我们将会失去对ext3所做的更改。 有没有更好的方法来确保这些驱动器同步更好。 我们这样设置的原因主要是由于缺less对Windows中ext3的支持,以及我认为ext3比NTFS更为成熟的FS。

在主目录中备份cpanel文件。 可能会出现什么问题?

我正在做我的主机上的主目录的rsync备份。 我的networking主机使用cPanel,我注意到我的主目录中有一些cpanel目录,我正在备份。 这是否会导致问题,如果我曾经做过恢复? 它是否会恢复我的cpanel更改为该date? 还是会引起比我想处理的更多的问题?

远程同步Time Machine驱动器

我有一个Xserve,运行时间机器到当地的太字节驱动器。 我还连接了一段时间的外部TB磁盘,并让Time Machine使用它来build立种子数据。 我计划把我的驱动器带回家(出于状态),并让Xserve重新使用本地驱动器来使用Time Machine。 但是,当我回到家时,是否有办法让我的外部驱动器的Time Machine Backups文件夹副本与备份文件夹同步到Xserve? 我想要一个完整的历史副本(做一个真棒远程备份)。 我想过使用unix命令rsync。 事实上,这就是我一直在做的事情,但是我正在寻找Time Machine能够实现的紧凑性。 谢谢。

用于获取信息的Rsync选项,比如电子邮件中删除了多less个文件

我正在使用rsync来备份文件。 我想在备份后,我应该得到以下信息 1)复制的文件数量2)在目的地中删除的文件数量3)多less数据拷贝 没有别的 如果我使用安静模式,那么我得不到任何信息,但如果我不这样做,那么我得到所有的文件信息,以及这是很长的

rsync从开发到生产 – 所有权/许可 – PermitRootLogin

为了使用“ rsync ”同步开发服务器和生产服务器之间的数据,我必须在生产服务器上设置PermitRootLogin on ,然后我可以运行“ rsync -avhe ssh –delete –progress local/folder [email protected]:/home/www/folder/ “,以保持所有权/权限不变的所有文件。 但是,由于安全策略,我必须在生产服务器上设置“ PermitRootLogin no ”。 什么是解决这个问题的好方法? 谢谢

rsync并查找最近一天编辑的文件

使用rsync做我们的数据库的每日备份,但我不想每天都镜像原来的,只是下载已经改变的文件。 这几乎是在那里,但是当目录中有一个匹配时,它会复制一切。 最终idfind它在最后一天编辑的文件(-mtime -1) rsync -aP -p -o -g –progress `find /Volumes/MP_JUBBLER/testing/src/ -mmin -4` /Volumes/MP_JUBBLER/testing/backups/current/ 这只是一个testing,通常我们login到我们的远程托pipe服务器,所以认为这将工作,但也是一个类似的问题。 只要有一个匹配,它下载一切; rsync -aP -p -o -g –progress -e 'ssh -p 2020' [email protected]:'`find /var/lib/mysql -mmin -10`' /Volumes/MP_JUBBLER/testing/backups/current/ 有谁知道我可以做到这一点? 任何指针赞赏! 担。