我目前在Linux主机rsync复制从Windows到我的Linux机器的东西。 但我不能复制长名称的文件。 我曾尝试过DeltaCopy , cwrsync和cygwin 。 从我发现的所有这些工具拒绝复制文件时,文件的长度变长,这似乎是在大约255个字符的地方。 这个问题在这里的cwrsync论坛上得到了解决,据说在cygwin 1.7出来并支持UTF8的时候,它可能会在将来被修复。 这里甚至还有一个testing版本。 在生产系统上使用testing版本并不是特别舒服。 我希望有人知道另一个rsync选项。 作为rsync的替代方法,你是否知道另一个工具,我可以在Linux上从Linux主机复制一个目录结构,这对长文件或exception命名的文件没有问题? 重要的是我需要一个可以轻松在SSH隧道中工作的工具。 有些系统不在防火墙之内,我相信SSH是我可以使用的隧道。
我们在内部网上有一个文件夹结构,其中包含大约80万个文件分成大约4000个文件夹。 我们需要将其同步到我们的DMZ中的一小群机器。 结构的深度很浅(从来没有超过两层深)。 大多数文件永远不会改变,每天有几千个更新的文件和1-2000个新文件。 这些数据是在源数据已被清除的地方维护的历史报告数据(即,这些数据是源数据足够老的归档和删除的最终报告)。 同步每天一次就足够了,因为它可以在合理的时间内发生。 报告是在一夜之间生成的,我们在早上同步第一件事情作为计划任务。 很显然,由于这样的文件很less有变化,我们可以从增量复制中受益匪浅。 我们已经尝试了Rsync,但是只需要8到12个小时就可以完成“build立文件列表”的操作。 很显然,我们正在快速超越rsync的能力(12小时的时间太长)。 我们一直在使用另一种名为RepliWeb的工具来同步这些结构,并且可以在大约45分钟内完成一次增量传输。 然而,看起来我们已经超出了限制,它开始看到文件显示为删除时,他们不(可能是一些内部内存结构已经用尽,我们不知道)。 有没有其他人遇到这种大型同步项目? 有什么devise来处理像这样的同步大文件结构?
我有相当多的小数据文件,但他们占用大约50 GB,我需要他们转移到不同的机器。 我试图想到最有效的方法来做到这一点。 我的想法是gzip整个事情,然后rsync和解压缩,依靠rsync -z进行压缩,gzip然后使用rsync -z。 我不确定哪个是最有效的,因为我不确定rsync -z是如何实现的。 任何想法的select将是最快的?
btrfs本月在Oracle EL 14上发布产品(连同来自Linux 3.2的fsck和scarbing),我正在考虑重新devise我当前的备份解决scheme以利用它。 请注意,我正在考虑less量的数据,less于10TB,这是相当静态的(不到1%每天更改)。 总之一个SMB / SOHO备份解决scheme。 备份应该做什么: 在生产服务器上执行ext [234] / XFS / JFS的LVM快照 rsync /将更改的数据传输到备份服务器上的btrfs 快照btrfs文件系统 当空闲空间不足时丢弃旧快照 优点: 所有的文件很容易获得,不需要解压缩或循环安装 过去的快照也很容易获得… …所以我可以将它们作为只读的Samba共享(支持影子副本) 由于写时复制,快照占用的空间极小(不需要更改的快照占用磁盘上几乎没有的KiB) 高备份一致性:对文件进行校验,清理所有数据和内置冗余 问题: 是否有备份解决scheme(以Bacula,BackupPC等forms),或者可以很容易地意识到写入时复制文件系统? 或者我需要使用家庭rsync解决scheme吗? 使用ZFS专用于备份的人员如何备份他们的Linux机器?
我正在使用下面的cron语句从一个文件夹备份到同一台计算机上的另一个文件夹: 19 21 * * * root rsync -ac –delete /source/folder /dest/folder 当我使用pstree ,我看到cron分叉了三个进程 ├─cron───cron───rsync───rsync───rsync 和ps 9972 ? Ds 1:00 rsync -ac –delete /source/folder /dest/folder 9973 ? S 0:29 rsync -ac –delete /source/folder /dest/folder 9974 ? S 0:09 rsync -ac –delete /source/folder /dest/folder 为什么有三个过程? 我可以限制只有一个?
我正在通过挂载的共享将文件从Linux转移到Windows 7(该共享从Linux上的Windows挂载)..我正在从局域网内的旧机器复制大量数据(即接近TB) 。 我已经不幸了,我只有100MBit。 当然,我一味地使用rsync,但一天之后就已经想知道为什么它感觉如此缓慢。 启用进度表显示我的传输速率约为2MB / s。 所以我拿了一个合理的大文件(800MB)跟踪传输时间(1): cp : 05:33 scp (2): 06:33 rsync : 21:51 1)我在每次运行之间删除了这些文件 2)通过本地主机scp直接将同一台Linux机器上的共享; 完全没用,但提供了一个进度表 这些testing非常简单 (cp|scp|rsync) <source> <destination> 除了主机/端口的scp没有特殊的参数。 我甚至尝试了-W开关的rsync,但十分钟后取消。 在Lenny上运行的rsync是3.0.3。 为了能够随时中断复制过程并恢复到rsync,但现在我认为我需要重新考虑这个需求。 如何有这么大的差异? 更新/解决: 感谢rschuler,我能够解决这个问题:出于效率原因,使用rsync守护进程而不是smb安装。 上述DeltaCopy的作品,但必须注意一些事情 这是一个很好的GUI包装,但如果出了什么问题,知道如何解决它是很好的。 似乎我input了我的用户凭据,在哪个运行rsync服务,错误的第一次,但graphics用户界面不允许我设置一个新的。 我发现它是作为服务运行,并能够在那里设置适当的凭据 需要手动将端口添加到防火墙以允许连接 个人品味:确保股份是密码保护或如果没有,可能确保服务不会自动启动Windows; 以防万一 包装的rsync二进制文件不是本地Windows端口,而是build立在cygwin上。 但是,包含的cygwin DLL不能正确处理UTF8,并且会破坏非ascii字符。 从http://www.okisoft.co.jp/esc/utf8-cygwin/获取一个固定的DLL。 之后,转移额度从2MB / s跃升至〜8MB / s; 绝对精彩!
事实certificate,rsync无法与具有.bashrc文件的远程服务器一起使用? 在本地客户端运行rsync时: protocol version mismatch — is your shell clean? (see the rsync man page for an explanation) rsync error: protocol incompatibility (code 2) at compat.c(180) [sender=3.0.7] 如上所述,删除服务器上的.bashrc解决了这个问题。 如何解决它而不删除.bashrc文件(暂时)?
从服务器复制时,我总是使用以下命令: rsync –progress -avze ssh user@host:/path/to/files ./here 。 然而,一个心灵的朋友告诉我,我可以简单地做rsync –progress -avz user@host:/path/to/files ./here 。 所以问题是,如果你不需要-e ssh为什么它有吗?
我需要复制大量的文件。 通常我使用rsync,因为我传递了-aP选项,我可以看到(a)有多less文件需要处理,(b)每个文件有多less拷贝。 然而,rsync也会做大量的校验和来validation文件是否被复制。 不过我现在不需要这个。 但正常的cp不包括上面提到的文件数量,这是非常有帮助的。 有什么像cp ,包括多less文件的进展,但没有像rsync那么沉重?
rsync是我的项目的一个不错的select? 我不得不 : – 通过SSH将文件从源文件复制到目标文件夹, – 确保所有文件都被复制, – 复制后删除源文件。 – 如果我有冲突名称,我必须重命名文件。 它看起来像我可以使用选项: – 删除源文件(删除源文件) 但rsync如何pipe理冲突,我可以有规则吗? 用例在我的项目上: 我在服务器A上运行科学计算,结果被插入文件夹“process”中,对于每个计算,我都有一个这样的存储库:/ process / calc1。 现在我想将库“/ calc1”传输到服务器B(我得到/ process / calc1),并从服务器A中删除“calc1”。 …在另一个计算中,我得到了服务器A上的“/ process / calc2”,这个想法也是在服务器B上的“/ process /”目录中移动“calc2”,然后我现在在服务器B上: – / process / calc1 – / process / calc2 (和/ process /在服务器A上是空的)。 如果在新计算(如果服务器B上已经存在“/ process / calc1”)之后,服务器A中有另一个文件夹如“/ process / calc1”,rsync如何pipe理冲突(在服务器B上)? 是否可以用rsync添加规则,并在服务器B中通过“process / calc1R2”重命名“/ process […]