在我们的研究小组中,我们需要备份在MRI扫描仪上采集的数据,以保留任何获取的扫描(即使由于空间或其他原因可能从扫描仪中删除数据)。 我们称之为我们的保险库 。
要存储到文件库 ,独立的机器nfs-mount扫描器的数据分区,并将数据复制到自己的本地备份硬盘上:
rsync -au /nfsmount/data /pvbackup-vault >> $LOGFILE
我的问题是:这安全吗? 我们的数据有时会在经过一次处理之后被重新处理。 所以我想要-u标志。
对于实际的原始数据(这是神圣的),我可以预见到一个问题:由于某些错误/错误/不可预见的情况,扫描仪上的文件被覆盖,然后数据库中的数据将被覆盖。 我不知道如何防范。 一方面,我希望允许重新处理数据,甚至在另一方面重新获得数据,我希望创build一个对未来变化免疫的库 ,至less在数据方面是这样。 我应该举报这些情况并亲自处理吗? 乏味。
注意:我有一个不同的增量策略(rsnapshot)来保护用户的错误,允许恢复无意中删除/更改的数据达到一定数量小时/天/周/月。
注2:也许我应该提及的是,我们目前正在处理约250GB的数据,每周新增约10GB的数据。 所以,DVD是作为替代…
你正在做的第一部分是正确的,从硬件扫描仪的数据,如果事情发生的事情。 第二部分应该是你备份你的中间备份位置。 换句话说,你应该设置一个辅助的rsync工作到另一个最终的rest/备份的地方,或者实际上有一个备份程序进来,采取定期副本为更永久/档案的目的。
通常你会做两件事来保存数据…
这可以确保您的扫描仪数据得到保护,并且您可以长期存档发生的所有事情。 将磁盘作为临时备份对待,直到归档运行完成,您的归档是神圣的。
带有–link-dest选项的rsync可能是有用的。 它为每个备份运行创build一个目录。 自上次运行以来未更改的文件被硬链接到已经存在的版本。 因此,每次运行都有一个完整的普通文件夹结构(您可以直接浏览它),而不会复制未更改的数据。
自从多年以来,我使用以下types的片段来进行日常备份。 以这种方式使用rsync的linux-gui工具是backintime http://backintime.le-web.org/
#!/bin/bash # when saving this as "rsync-history" call it with arguments # sh rsync-history user@host-to-be-backed-up:/directory-on-host/ where-to-save-the-backup/ source=$1 target_fileprefix="$2""$source" #keep N generations bigger=100 rm -vrf "$target_fileprefix""$bigger" #move 1 to 2, 2 to 3... while [ $bigger -gt 0 ] do smaller=$(($bigger-1)) mv -f "$target_fileprefix""$smaller"\ "$target_fileprefix""$bigger" 2>>/dev/null bigger=$(($bigger-1)) done mkdir -p "$target_fileprefix""0" rsync \ -a --whole-file --delete \ --link-dest=$target_fileprefix"1"/. $source. $target_fileprefix"0"/.