Articles of rsync

crontab中没有密码的简单rsync

我想运行以下:(Centos 5.4) rsync -avz /source_folder 192.168.1.1:/destination_folder 现在我从CLI运行它,但最终我想从crontab(用户:根)运行它。 当我运行它时,它总是要求我inputroot密码。 我想跳过密码。 我已经看到了一些关于这个问题的答案,但是它不是工作,或者我不确定我完全理解如何去做。 有人可以协助吗?

巨大的目录没有被更改的更快的rsync

我们使用rsync来备份服务器。 不幸的是,networking到一些服务器是缓慢的。 rsync最多需要五分钟才能检测到,巨大的目录中没有任何变化。 这些巨大的目录树包含了很多小文件(大约80k个文件)。 我猜测rsync客户端发送每个80k文件的数据。 由于networking速度很慢,我想避免发送每个文件80k次的信息。 有没有办法告诉rsync做一个子目录树的哈希总和? 这样rsync客户端将只发送一个巨大的目录树的几个字节。 更新 到目前为止,我的策略是使用rsync 。 但如果不同的工具在这里更合适,我可以切换。 两者(服务器和客户端)都在我的控制之下。 UPDATE2 一个目录树中有80k个文件。 每个单独的目录没有超过2k个文件或子目录 UPDATE3 有关networking缓慢的细节: time ssh einswp 'cd attachments/200 && ls -lLR' >/tmp/list real 0m2.645s tmp /列表文件的大小:2MByte time scp einswp:/tmp/list tmp/ real 0m2.821s 结论:scp速度一样(没有意外) time scp einswp:tmp/100MB tmp/ real 1m24.049s 速度:1.2MB /秒

如何用伪字符集UTF8-MAC在Linux(Ubuntu 14.04 LTS)上重新编译iconv?

我在Google上search了几个小时,find了解决scheme,但却无法解决问题。 我必须rsync ext4格式的驱动器上的文件结构到一个hfs +格式的驱动器。 文件夹和文件名可以包含德语变音(UTM),OS X和Linux之间UTF8的处理是不同的。 OS X文件系统使用Unicode规范化表单D(NFD),其中Linux使用表单C(NFC)。 这种行为会导致在名称中删除和重新同步Umlauts中的文件,这会产生很大的不必要开销,特别是如果使用–backup选项进行rsync时。 防止这种行为的解决scheme是使用–iconv=UTF8,UTF8-MAC但是这只适用于Mac上新的iconvlib 。 Ubuntu 14.04上的实际iconvlib不支持伪字符集UTF8-MAC: root@ubuntu:~/wartung# iconv -l … UTF-7, UTF-8, UTF-16, UTF-16BE, UTF-16LE, UTF-32, UTF-32BE, UTF-32LE, UTF7, UTF8, UTF16, UTF16BE, UTF16LE, UTF32, UTF32BE, UTF32LE, … 从自制软件的最新的rsync的OS X做到这一点: bash-3.2$ iconv -l ANSI_X3.4-1968 ANSI_X3.4-1986 ASCII CP367 IBM367 ISO-IR-6 ISO646-US ISO_646.IRV:1991 US US-ASCII CSASCII UTF-8 UTF8 **UTF-8-MAC UTF8-MAC**, … […]

rsync – 无法解释的错误

我正在使用这样的脚本: rsync -avu –delete –progress user@host:~/backup . 每一次,过了一段时间,收到这个错误: rsync: connection unexpectedly closed (10251754 bytes received so far) [receiver] rsync error: error in rsync protocol data stream (code 12) at io.c(226) [receiver=3.1.0] rsync: connection unexpectedly closed (45482 bytes received so far) [generator] rsync error: unexplained error (code 255) at io.c(226) [generator=3.1.0] # generator = Debian 5, […]

正向同步到HDFS? (或继续不完整的hdfs上传?)

任何人都有一个很好的build议做一个前向同步到HDFS? (“前向同步”与“双向同步”相反) 基本上我有大量的文件要放入HDFS。 它太大了,以至于我经常说在连接完成之前就失去了连通性。 我想要做的只是做一个“简历”我的file upload。 然而, hadoop fs -put将只是再次上传整个目录(或者如果存在抱怨)。 任何人都有一个很好的方法来继续不完整的hdfs上传?

lsync,统一或其他一些inotify自动同步工具..?

我有一个应用服务器场,可以生成缩略图,并使用nfs将它们提供给Web服务器场。 然而,性能非常差,所以我要在每个Web节点上创build一个本地副本。 我看着unison和lsync,但似乎没有一个从centOS5.5回购的rpm。 我应该使用哪一个或者其他策略。 由于用户需要在网页上直接显示缩略图,因此我非常需要同步,因此基于Inotify的工具非常好! 编辑:当我说立即,我的意思是推出,而不是拉一些时间表。 最后,lsync已经发布了一些更多的版本,所以我使用了它,并且lsync在运行时运行良好(即在几秒内同步),但是需要预先枚举每个目录,而对于非常大的文件系统需要花费很多时间..

使用rsync的BackupPC失败,“协议版本不匹配 – 你的shell是干净的吗?

我只是在Debian中安装了BackupPC作为备份服务器。 如你所知,这个软件可以使用rsync。 当使用rsync选项时,它失败。 服务器:Debian Jessie。 BackupPC 3.3.1由源代码构build,由用户“backup-user”执行。 Rsync 3.1.2使用默认选项从源代码构build。 客户:Debian Jessie。 Rsync 3.1.2使用默认选项从源代码构build。 失败后,可以在BackupPC的日志中find使用的rsync命令。 尝试在一个shell中的命令,logging为BackupPC用户,我碰到这个“协议版本不匹配 – 你的shell是干净的吗? 错误。 该命令是: /usr/bin/ssh -q -x -l backup-user 192.168.10.20 /usr/local/bin/rsync –server –sender –numeric-ids –perms –owner –group -D –links –hard-links –times –block-size=2048 –recursive –ignore-times . /home/backup-user/test 给发送给客户端的rsync命令添加一些详细信息,它说( 注意远程协议版本 ): FILE_STRUCT_LEN=24, EXTRA_LEN=4 (Server) Protocol versions: remote=168430090, negotiated=31 protocol version mismatch — […]

scp和rsync不起作用(ssh作品)

在我的Debian Squeeze服务器上, scp和rsync似乎没有复制任何东西。 与另一台服务器工作正常(但不是客户端问题)。 当使用scp时,它只是创build一个空文件并等待。 /etc/bash.bashrc包含[ -z "$PS1" ] && return顶部。 SSH工作正常。 可能是什么问题? 诊断 foo.bar :大小为10899字节的纯文本文件 scp -vvv /tmp/foo.bar server:/tmp Executing: program /usr/bin/ssh host server, user (unspecified), command scp -v -t — /tmp OpenSSH_5.8p1-hpn13v10, OpenSSL 1.0.0d 8 Feb 2011 debug1: Reading configuration data /home/alanhaggai/.ssh/config debug1: Applying options for server debug1: Reading configuration data /etc/ssh/ssh_config debug2: […]

如何使sshfs + VPN + git一个可以忍受的工作环境?

目前,我正在使用的项目的代码库位于公司服务器上。 它必须保持那样。 远程git仓库也不能公开。 我目前的设置是: 连接到VPN 运行sshfs来挂载代码的副本 开始编写代码 当我完成: ssh到远程服务器,并在那里运行git命令 这个问题是,VPN时常下降,所以我的sshfs挂起,我的IDE冻结。 我所做的是手动重新连接VPN,然后再次运行sshfs ,然后重新开始工作。 但是随着VPN越来越频繁地变得烦人。 所以我想知道是否有某种cachingsshfs设置,这将允许我工作,并且只有当VPN恢复时才同步更改。 这可能是没有意义的,因为如果远程驱动程序不可用,则无法写入。 那么如何设置一个不同的设置,使用某种types的事物,并使用rsync以双向方式移动更改(当我保存一个文件,或者当我做git pull ) 我不能只是克隆克隆,因为我不能重现整个环境工作“本地”(数据库和东西) 代码必须在他们的服务器上,为了让我testing/看到我的工作,我必须访问一个URL,那就是我的沙箱。 每次我想看到我的变化,我都无法推动。

Linux服务器同步到Amazon S3存储桶

我正在寻找一个稳定的解决scheme,以取代经典的服务器备份到另一台服务器使用rsync 。 我必须将整个文件系统(大于1Tb)同步到Amazon S3。 我在哪里? 解决scheme1:我使用s3fs将S3存储桶映射到系统中的安装点。 系统变得不稳定,stream量真的很慢。 这不是一个解决scheme。 解决scheme2:使用s3cmd sync命令。 一切顺利,速度很快(至less低于2Gb的文件夹)。 当我尝试同步服务器上的所有文件系统时(有一些排除),问题就出现了。 这个过程只是挂起。 任何提示?