Articles of rsync

SSH上的RSync – 即使用户位于根组中,权限也会被拒绝

我需要通过networking在服务器之间复制文件。 我通过SSH使用RSYNC来做到这一点。 问题是,我需要能够传输文件,无论文件在哪里。 我创build了一个用户rsync和: usermod -G root -a rsync ,使他有权在两台服务器上的任何地方读/写。 在传输过程中,我看到这个错误: rsync: mkstemp "/root/.myFile.RDr2HY" failed: Permission denied (13) 我不明白发生了什么事。 编辑:我刚刚发现目标文件夹没有根组的写入权限。 我将如何给这个rsync用户100%的访问权限? 如果我将其uid更改为0,rsync停止工作。

multithreadingRsync传输

由于某种原因,运行单个rsync命令时,即使连接两台连接到1 Gbps端口的服务器,我也会获得1 MB /秒到2 MB /秒的速度。 rsync -v –progress -e ssh /backup/mysqldata/mysql-bin.000199 [email protected]:/secondary/mysqldata/mysqldata/mysql-bin.000199 我有超过800 GB的数据传输拆分500个左右的文件所有开始: 的mysql-bin.000 * 我发现,从独立的SSH窗口同时运行25-30 rsync使我获得了25 MB /秒以上的速度,但是需要几个小时才能手动运行这些。 无论如何,从单个rsync命令获得25 MB /秒?

我怎样才能让一个服务器上的用户“postgres”rsync到另一个?

我试图让这个命令作为用户postgres(所以我可以运送wal文件)工作: rsync -a /tmp/test postgres@server2:/tmp/test 但是我得到的错误: Permission denied (publickey). 我运行ssh-keygen eval `ssh-agent`和ssh-add作为server1上的postgres用户。 keygen创build了/var/lib/postgresql/.ssh/id_rsa和id_rsa.pub ,我可以看到它是通过使用ssh -vvv postgres@server2 。 在server2上,我创build了/var/lib/postgresql/.ssh/authorized_keys把id_rsa.pub的内容放在server1里面。 它由postgres用户和组以及chmod 600拥有.ssh目录也由postgres和chmod 700拥有。 我可以从详细sshd日志loggingserver2上看到Failed publickey for postgres… postgres用户在两个服务器上: postgres:x:106:114:PostgreSQL administrator,,,:/var/lib/postgresql:/bin/bash ssh -vvv postgres @ server2 … debug1: Found key in /var/lib/postgresql/.ssh/known_hosts:1 debug1: ssh_ecdsa_verify: signature correct debug2: kex_derive_keys debug2: set_newkeys: mode 1 debug1: SSH2_MSG_NEWKEYS sent debug1: expecting SSH2_MSG_NEWKEYS […]

rsync复制整个文件,而不是差异

我有2个远程文件夹包含几个文件。 我正在使用rsync来同步2.问题是,在第一台服务器上,每天都严格按照新的数据进行附加操作。 当我调用rsync时候,我觉得它再次复制整个文件。 我的电话是否正确? rsync -rtvu src_fld/ user@myserver:/opt/dst_fldr/ 我的理解是, rsync能够计算2个文件之间的差异,所以我期待着一个非常快速的更新。

Rsync通过sshfs跳过以下划线开头的文件名

我试图从OS X(10.11)同步一个目录树到Ubuntu 14.04。 虽然大多数文件传输得很好,但名称以_ (下划线)开头的文件不会。 这里是我使用的命令: rsync -rtvh –progress ~/Pictures/processed/ ~/mnt/processed/ 并输出的一个例子: sending incremental file list _MG_7425.jpg 4.66M 100% 169.79MB/s 0:00:00 (xfr#1, to-chk=58/60) _MG_7427.jpg 6.59M 100% 103.07MB/s 0:00:00 (xfr#2, to-chk=57/60) … rsync: mkstemp "/Users/user/mnt/processed/._MG_7425.jpg.0cAYb3" failed: No such file or directory (2) rsync: mkstemp "/Users/user/mnt/processed/._MG_7427.jpg.5Gw1vD" failed: No such file or directory (2) sent 306.24M bytes received […]

同步存储服务器

我们有一个存储服务器,目前有大约20TB的媒体文件,我们希望与第二个存储服务器同步,用于备份和故障转移。 事实是: 我们目前正在存储大约9.000.000个文件 文件大小从几KB到1 GB 只需要单向同步 文件不会被更新,也不会删除 – 只有新文件才能同步 存储服务器正在运行open-e,它们作为NFS卷安装在networking中 目前我们只在第三台服务器上使用普通的rsync来执行同步。 我想知道,如果有更好的工具这么多的文件 – 商业或开源? thanx非常多,

如何在没有本地副本的情况下远程备份svn

我有一个在磁盘上运行短的颠覆服务器。 我想归档一个较大的版本库来释放一些空间,所以我需要在远程服务器上对版本库文件进行完整备份。 不幸的是,回购是相当大的,这限制了几个简单的select: 我不能使用svn dump或svn hotcopy,因为没有足够的本地存储可用于存储库的完整副本。 我可以使用rsync,但svn服务器正在使用旧的berkeley db,看来这可能会创build一个损坏的备份。 回购没有被积极使用,但有可能有人我仍然在rsync运行时改变它。 在这种情况下停止SVN服务不是一个好的select,因为服务器被大量使用。 过去我使用过一个名为rsvndump的实用程序,我的经验是,虽然这对于这种情况来说是理想的,但它往往会在大型存储库中过早并一致地死亡,从而导致无法使用的存档。 svnsync似乎是合理的,但是在远程服务器上需要额外的configuration步骤,而且看起来存档与实际的数据转储相比有些脆弱。 对于本质上是一次性的任务似乎也是过分的。 我正在寻找是否有办法通过rsync或sshpipe道运行svndump或hotcopy来在远程主机上创build“本地”存档。 一旦磁盘空间问题得到解决,备份必须是有效的,因为我需要它来进行恢复。

rsync多个源目录到多个dest目录

我有多个源目录,比如/home/me/source1和/mnt/somedisk/source2 。 我想把它们分别推到/home/someoneelse/dest1和/home/someoneelse/dest 。 我想用一个rsync命令来做到这一点,这可能吗? 如何将N个目录转换为N个目录,每个目录都是uniqe?

BackupPC超过72小时备份250GB的

我正在使用BackupPC来备份办公室的一些工作站。 特别是其中一个工作站与其他工作站相比,其数据量相当大,但总的来说并不是那么大(谈到250 GB的实际数据)。 BackupPC似乎永远支持这个系统(几天,即超过72小时+)。 所有工作站都通过networking上的autofs本地安装通过rsync进行备份。 基本上, autofs在工作站上挂载administrative C share ,然后BackupPC将它视为本地目录, cd到automount directory ,以及rsync的所有数据。 总体而言,速度缓慢,我一般将其归因于BackupPC速度较慢的硬件,但除了数据量较大的工作站之外,这种性能在所有工作站上都​​可以接受。 rsync flags: /usr/bin/rsync –numeric-ids –perms –owner –group -D –links –hard-links –times –block-size=2048 –recursive 这些是BackupPC设置的默认参数。 我在网上阅读了一些东西,指出坐骑可能会放慢速度 – 所以我改变了我的autofsconfiguration,以noatime标志挂载目录…没有区别。 我读了一些东西,指出rsync可能是罪魁祸首,因为它是如何检查文件…并build议切换到tar而不是。 所以我做了…但没有区别。 tar flags: tarPath="/bin/gtar" env LC_ALL=C $tarPath -c -v -f – -C $shareName+ –totals # where $shareName is the autofs mounted directory 这些是BackupPC设置的默认参数。 […]

使用rsync和快照调度在双NFS NFSconfiguration上运行VMware ESXi

我正在考虑一个客户端的设置。 GOALS 10个用户 2台服务器 最大的冗余(最小的成本) 最大的可扩展性(最小的成本) 硬件 这是我正在考虑的硬件: 2台配备英特尔至强L5520 CPU的戴尔PowerEdge R610和8 GB内存运行VMware ESXi 4.0内置SD卡 2个NetGear ReadyNAS 2100,配有4个1 TB磁盘,RAID 1和1个备用磁盘。 我需要为MS SBS 2008 Premium运行两个虚拟机。 对于那些不知道它的人来说,这意味着一台服务器上的DC,AD和Exchange以及另一台服务器上的IIS上的自定义Intranet系统。 从我读到的,NFS应该作为一个可以接受的解决scheme,从而使我只需将vmdk放在NFS文件共享上。 我将在每个PowerEdge上运行一个虚拟机,然后为每个服务器运行一个ReadyNAS,每个服务器可能分配1 TB,然后为快照分配1 TB。 BACKUP 我打算使用readynas上的快照工具来简单地备份vmdk,然后将这些快照复制到一些可以手动远程传输的外部USB硬盘上。 故障切换 我希望为ESX和SMB版本的HA准备安装程序,因此每个NAS都需要有两个共享,每个都将在VMware中作为数据存储挂载。我想我可以使用rsync在NAS之间进行复制,以便每个将始终有其他NAS的副本。 原理图 好,让我试着说明。 [VM-Host1] .VM1 – 从 – > [NAS1] .Share1 –rsync到 – > [NAS2] .Share2 [VM-Host2] .VM2 – 从 – > [NAS2] .Share1 […]