Cygwin的RSYNC用于大数据传输

我使用Cygwin的rsync来执行从老化的HP MSA 1000到连接到不同服务器的新DAS的大规模数据传输。 我有一个守护进程在远程服务器上以只读模式运行,本地拷贝将文件写入磁盘。

我的一台服务器是一个映像存储库,有超过一百万个文件分布在大约300个目录中。 每个文件平均只有几百千字节。 这个比其他任何一个盒子都更有问题。

rsync进程会工作一段时间 – 有时是20分钟,有时是一个小时 – 然后它只是在给定的文件名下退出并闲置。

我已经validation该文件在远程服务器上没有损坏,并且该文件在本地驱动器上成功创build。 我在-vv模式下运行rsync客户端,它不返回任何内容。 我检出了守护进程创build的日志。 我查看了闲置的接口上的networking利用率。 我查看了AV设置,看看有没有什么可能会造成问题。 我甚至更新到Cygwin的最新版本。

为了保持这种联系,我需要什么?

编辑:

客户端系统正在使用该命令

rsync.exe server::Drives/f/Repo/ /cygdrive/T/Repo --archive -P -vv 

服务器正在使用rsync.exe命令–daemon –no-detach –config“rsyncd.conf”

rsyncd.conf的内容:

 use chroot = false strict modes = false hosts allow = 192.168.100.9 log file = c:/rsyncd.log uid=0 gid=0 [Drives] path = /cygdrive read only = yes 

编辑:

文件服务器为2003,arrays上的磁盘types为GPT,arrays的大小约为4TB。

编辑:

陌生人..看起来这个过程是可靠的错误在大约175,000个文件。 Rsync运行良好时,我select一个有问题的同一个目录。

编辑:

 rsync version 3.0.9 protocol version 30 Copyright (C) 1996-2011 by Andrew Tridgell, Wayne Davison, and others. Web site: http://rsync.samba.org/ Capabilities: 64-bit files, 64-bit inums, 32-bit timestamps, 64-bit long ints, no socketpairs, hardlinks, symlinks, IPv6, batchfiles, inplace, append, ACLs, xattrs, iconv, symtimes 

从Cygwin的同一套文件转到Linux安装时出现类似的失败。 但直到比正常晚数小时才发生。

你不说全部的数据量,所以我不能确定,但​​我曾经在可比较的大小的储存库使用rsync。 到目前为止,我还没有遇到这个问题。 我使用的绝大多数是在Linux / Unix设备上,只有偶尔的Windows运行。

为了弄清楚到底发生了什么,你可能想尝试使用额外的-v参数来运行rsync,看看你是否可以得到足够的细节来看看它挂起时的情况。 如果这没有帮助,你可以看看在straceltrace下运行rsync。

作为一种解决方法,您可以尝试使用--include-from=FILE来指定要包含的目录列表,然后列出您提到的300个目录。 我不确定这是否会遇到同样的问题,你看到,或不。

如果这不起作用,你可以循环遍历目录列表和rsync每一个单独的东西:

 for DIR in $(cat file_of_dirs); \ do rsync.exe server::Drives/f/Repo/$DIR /cygdrive/T/Repo --archive -P -vv; \ done 

(为bash / bourne shell编写,因为你说你已经安装了Cygwin,可以在一行没有尾随斜线的情况下完成。)

显然,这并不回答为什么rsync挂你的问题,但它应该让你的文件再次同步。