我有〜700GB的存储空间,我存储了大约15M的文件,因此平均文件大小是〜50KB。 为了备份,我整晚运行一个简单的rsync脚本,其中包括以下一组标志:
--archive --update --compress --numeric-ids --human-readable --stats
rsync需要8个小时才能完成工作,平均每天有大约1-4GB的数据移动。 对我来说,这似乎是非常低效的。
我可以调整我的rsync脚本吗? 我想我最好的select是数据迁移到MongoDB或类似的东西,但是有一个问题,因为当前的基础设施依赖于在posix文件系统上访问的文件,迁移到完全不同的东西可能需要额外的工作,潜在的工作太多…还有什么最好的策略?
即使传输效率很高,rsync也需要很长时间来分析这些文件。 它必须做超过15M的IO,加或减caching。 你可以扔非常快的存储,但这可能是昂贵的。
zfs的build议是使用块级副本,在这个副本中,这成为一个巨大的文件传输。
这些概念同样适用于lvm,尽pipe由于远程快照不是内置的,所以它可能需要更多的脚本。请参阅lvmsync这样的想法。