我们正在考虑备份每个包含小文件(10kb以上)的大约100GB的数据。 备份需要尽可能快地完成每周另一个硬盘。 在这种情况下,哪种方法更好(尤其是速度明智)备份? rsync或tar?
绝对rsync 。
rsync的优点是它只会复制已经改变的文件。
如果您拥有100GB以上相对较小的文件,则不需要每次都复制它们。
注意: rsync的第一次备份将会很慢,因为所有文件都被复制。 随后只复制已更改的文件,并在复制过程中对其进行压缩。
一定要熟悉rsync所有选项…有很多。
Tar是一个存档实用程序。 您可以设想为整个100GB +创build一个tar文件,但是您不希望每次都传输它。
如果你有大量的文件,rsync可能会有些痛苦 – 特别是如果你的rsync版本低于3。另一方面:如果你使用tar,你会产生一个非常大的结果tar文件(除非数据可能被压缩了很多)。 就个人而言,我会看rdiff备份 ,但确保你testing你的恢复情况:恢复时rdiff备份可以是非常需要内存。
我想补充一点,虽然一般来说我同意pavium的回复,我会selectrsync,在增量备份的tar中有选项。 从男人:
-g, – 列出的增量F创build/列出/提取新的GNU格式增量备份
-G, --incremental create/list/extract old GNU-format incremental backup
如果你的文件没有太大的改变 – 我会为rsync投票。
你需要历史logging(多个备份)还是只需要一个简单的数据副本到其他磁盘? 如果不使用块级备份,备份100 GB的10 KB文件将会花费很长时间。 如果您确实需要快速解决scheme,请考虑制作块级快照或其他基于块级别的解决scheme。
看看rsnapshot ,这只是一个脚本,你可以用作rsync的前端。 它只会备份已更改的内容并轮换您的备份。
考虑只使用你的控制器的RAID1function,你在该目录中安装的Linux软件(甚至可以在带有回送设备的映像文件上完成)或在文件上使用btrfs(具有COW快照的美感,但仍然需要考虑实验)。 这个链接应该给你一些想法。 这样,您可以随时创build备份。
编辑:好的,在我得到更多(有些生气)downvotes之前,我需要澄清:这个想法是换出一个空白的RAID 1光盘之一。
你抽出来的那个是你的备份,(在不断的摊销时间内完成),另一个应该是快乐的同步。 在Linux中,我可以做到完全自动化的软件,它的工作原理。 RAID热同步可能只是最慢的讨论备份方法,但它同时发生,很容易在一个星期内。 这个答案完全符合OP的要求,所以我没有看到downvotes的原因。
我不得不承认,从一个热门(意味着大量被贩运的)数组中取出一个磁盘感觉有点冒险,但它应该工作得很好,因为所有组件都只是在做他们自己的工作 。 如果RAID不能重新同步,那么你完全可以不使用它。
有人可能会认为,这是滥用一次性的自动防故障机制的经常使用。 告诉专业的跳伞者 我们生活在数字时代,如果这不起作用,就会被打破。