我正在使用rsync将数据从本地LVM驱动器复制到本地安装的glusterfs安装。 我试图让他们同步,最终切换到只使用glusterfs安装。 这是我正在使用的命令:
rsync -av --inplace --no-whole-file /mnt/lvm-ext4/ /mnt/gluster
我目前已经完成了初始数据推送,现在正试图赶上已经添加的新文件。 目前LVM卷拥有大约14TB的数据,大约有2500万个小文件,但是我认为rsync正在遭受这么多文件的影响。
在观察第二次运行的输出时,我发现rsync输出的大部分条目是目录条目,只有一小部分实际文件被移动。 我相信这是因为目录已经被触及,它们的atime已经被更新,因此需要rsync在远程端进行更新。 我最近了解了nodiratime mount选项,并且今天已经应用了,希望这将有助于未来的同步。
有没有办法让rsync忽略这些目录更新,只传输新/更改的文件或新的目录? 我已经看到了–ignore-times和–checksum的选项,但他们似乎是包容性的。
我不认为你的问题真的与目录时间戳相关。
有了这么多的数据,rsync只需要一些时间来发现更改的文件,并开始传输它们。 如果同时发现一个目录a / m / ctime改变它将在接收端复制这个改变,但是这应该是几乎是瞬间的。