我尝试使用rsync同步两台机器之间的文件，但它似乎复制所有的文件，无论文件修改时间。 连续两次调用该命令产生相同的结果，所以显然是中断的。 有问题的命令是： rsync -r local/path user@host:/remote/path -v 本地文件系统是ext4，而远程是ext3。 我怀疑这个问题在这里，因为当我试图在同一个ext3系统和NTFS驱动器之间同步文件时，我遇到了类似的问题。 将后者转换为ext3解决了这个问题。 这次我不能诉诸转换。 有谁知道问题的确切来源和任何可能的解决scheme？
同步正在运行的生产服务器的大量数据的最佳方法是什么？ 我们的服务器有超过2000万个文件（10K以上的小文件，文件大小可达50MB）存储在1个目录中。 所有数据的大小约为5TB（稳步增加）。 是否有可能与lsyncd的数据同步和什么是限制（特别是inotify）？ lsyncd需要多less额外空间？ 怎么样的负载（CPU和内存）和现场时间？ 另一个解决scheme是GlusterFS。 是否有可能使用GlusterFS生产没有或最小停机时间？ GlusterFS在x属性文件中存储了大量的魔法数据，存储容量比非GlusterFS系统大15％到20％。 看起来像一个巨大的浪费…？ 怎么样的负载？ 至lessrsync和cronjobs可以完成这项工作。 rsync只能在slave上运行…所以在主服务器上不需要额外的空间，但是每次cron运行时rsync必须读取完整的目录树。
如果NTP在10:59:55运行，并将时间固定为11:00:13，则chron运行11:00:00和*：00：00任务，还是被跳过？ 或者，如果NTP在11:00:00运行并将时间修复为10:59:48，那么这些任务是否会运行两次？ 如果它们被跳过，有什么方法来解决这个问题？ 其他调度程序（窗口等）呢？ -亚当
我们使用rsync来备份服务器。 不幸的是，networking到一些服务器是缓慢的。 rsync最多需要五分钟才能检测到，巨大的目录中没有任何变化。 这些巨大的目录树包含了很多小文件（大约80k个文件）。 我猜测rsync客户端发送每个80k文件的数据。 由于networking速度很慢，我想避免发送每个文件80k次的信息。 有没有办法告诉rsync做一个子目录树的哈希总和？ 这样rsync客户端将只发送一个巨大的目录树的几个字节。 更新 到目前为止，我的策略是使用rsync 。 但如果不同的工具在这里更合适，我可以切换。 两者（服务器和客户端）都在我的控制之下。 UPDATE2 一个目录树中有80k个文件。 每个单独的目录没有超过2k个文件或子目录 UPDATE3 有关networking缓慢的细节： time ssh einswp 'cd attachments/200 && ls -lLR' >/tmp/list real 0m2.645s tmp /列表文件的大小：2MByte time scp einswp:/tmp/list tmp/ real 0m2.821s 结论：scp速度一样（没有意外） time scp einswp:tmp/100MB tmp/ real 1m24.049s 速度：1.2MB /秒
我们需要保持多台服务器上的一组文件同步。 这似乎是一个简单的问题，但我不是一个全职的系统pipe理员，虽然我find了一个简单的解决scheme，它不是很健壮。 我们有一个应用程序，通过Windows Server 2003计算机上的Citrix为我们的企业提供服务（这些框即将虚拟化）。 最初，当应用程序有一个新版本的版本，我们手动将文件复制到每个服务器。 我通过一个batch file减less了这个手动工作的占用空间。 它的工作原理，但我认为更好的是将更新的文件复制到一个位置，并有一个工具来处理其余的事情。 有没有其他的工具可以很容易地做到同步，或者我最好的select是坚持我所拥有的，或者看看Robocopy的更高级的function？
任何人都有一个很好的build议做一个前向同步到HDFS？ （“前向同步”与“双向同步”相反） 基本上我有大量的文件要放入HDFS。 它太大了，以至于我经常说在连接完成之前就失去了连通性。 我想要做的只是做一个“简历”我的file upload。 然而， hadoop fs -put将只是再次上传整个目录（或者如果存在抱怨）。 任何人都有一个很好的方法来继续不完整的hdfs上传？
我无法find任何文章来回答这个问题，所以我最好的select是在这里发表： 情况我们有2个应用程序服务器在生产托pipe一个PHP网站，我想要一些文件夹之间的同步2，同样的设置为开发环境没有问题，我已经遵循所有来自URL“ http：/ / /www.cloudedify.com/synchronising-files-in-cloud-with-csync2/ “，我似乎仍然有相同的结果，防火墙已被禁用在两个盒子出于麻烦的目的： configuration文件：cysnc2.cfg nossl * *; group production { host server1; host server2; key /etc/csync-production-group.key; include /etc/httpd/sites-available; include /xxxxxx/public_html/files include /xxxxxxx/magento/media/catalog/product include /xxxxxxx/magento/media/brands exclude *.log; exclude /xxxx/public_html/file/cache; exclude /xxxxx/public_html/magento/var/cache; exclude /xxxx/public_html/logs; exclude /xxxxx/public_html/magento/var/log; backup-directory /data/sync-conflicts/; backup-generations 2; auto younger; } /etc/xinetd.d/csync2 csync2.cfg service csync2 { disable = no flags = REUSE […]
我搞砸了，从我的异地备份位置（ftp服务器）下载了大约10GB的文件，而没有检查客户端的“保存时间戳”选项。 具有本地文件的PC是使用WiMax（4G蜂窝）连接进行互联网访问的上网本，该操作耗尽了我所有的每月带宽，再加上250美元的额外带宽。 我在更新ftp服务器上镜像副本的应用程序时遇到问题，因为它认为一切都是新的，因为所有文件都具有相同的时间戳，并且似乎比服务器上的副本更新。 它想重新上传一切，这不是一个可以接受的select。 除了再次下载所有的〜10GB，我正在寻找一种方法将时间戳从ftp托pipe文件转移到相应的本地文件。 有没有人知道一个办法呢？ 我关心的另一个问题是，这两个位置中存在的一些文件已经发生了变化，如果我没有考虑到这一点就更改了所有的时间戳，恐怕以后有些文件不会被镜像。 除了改变所有的时间戳，我将需要一种方法来比较每个位置的文件之间的差异，并根据散列或其他内容更新服务器的文件。 幸运的是，ftp服务器确实支持散列。 我不知道哪个客户端可以做我需要做的事情来做到这一点。 有人也可以build议客户这样做吗？ 提前致谢。 更新： 我在ftp客户端的论坛上发布了一个类似的消息，并得到了一个回复，build议我重新从头开始整个传输，当客户端询问如何处理本地已存在的文件时，将其设置为“恢复”文件转让。 目前这个操作正在做它的事情，因为现在客户端被设置为保留时间戳，所以它将把它们全部改变到服务器上的时间戳，就像我需要的那样。
是否有一个解决scheme在Windows环境，可以提供双向，PC间集中同步？ 在我们的实验室中有几台电脑需要自动同步文件，同时将文件备份到中央服务器。
我们正在考虑将照片放入Active Directory中。 我们有很多域控制器，有些是在带宽不是很多的地方。 什么是照片的推荐/最大文件大小，或者这是一个坏主意开始。 我们目前正在存储这些在SharePoint中，并希望打开同步服务到AD的个人资料照片。 我的另一个想法是告诉AD使用SharePoint的存储为照片，但不知道这是甚至可能的。 我怎样才能把工作人员的照片放在AD中，并尽可能减less复制/带宽问题？