Linux上的块级重复数据删除

NetApp提供块级重复数据删除(ASIS)。 你知道在Linux(或OpenSolaris,* BSD)上提供相同function的任何文件系统(甚至是基于FUSE的)吗?

(我不喜欢像硬链接一样的错误重复数据删除)。

    检查Linux的lessFS,重复数据删除文件系统。 它仍处于testing阶段,但您可以尝试一下:

    http://www.lessfs.com/

    问候,

    MV

    重复数据删除是在OpenSolaris上提供给ZFS的,但是这个function目前不可用。

    这是由杰夫·邦威克和比尔·摩尔过去的冬天原型,他们正在努力在今年夏天的整合。 所以它应该可以在OpenSolaris的下一个版本中使用,或者如果你想和开发分支一起玩,就可以更快。

    对于可能不熟悉重复数据删除的人员来说,这是一种在文件(或块,我想)层面上分析数据,并在整个文件系统中将相同文件/块replace为较小标记的技术。 这具有大大缩小磁盘上的有效大小的效果。 它可以被认为是写入时复制的一种forms。 阅读它的维基页面 。

    在Linux中我没有听说过要执行重复数据删除,文件或块级别的文件系统。 这样的野兽将是方便的,虽然漂亮的处理器密集型。

    OpenSolaris上的ZFS现在可以使用重复数据删除(内部版本128a和更新版本)。

    一年后,但是这里有一个叫做Epitome的解决scheme: http ://www.peereboom.us/epitome/。 只要它是自由的许可,它就可以很好地把它变成Linux内核。

    我刚刚发布了一个我一直在做的项目,那就是内嵌重复数据删除。 如果你有兴趣,你可以在这里看看。 它基于保险丝并运行在Linux上。

    我不知道任何免费的Linux重复数据删除实施。 我曾经看到一些存储供应商推荐使用HSM(分层存储pipe理)系统和VTL(虚拟存储库)进行重复数据删除。

    你也可以考虑一个不透明的Occarina系统,但是可以提供比重复数据更好的结果。

    所以…没有消息在Linux上的重复数据删除? opendedup可能是一个select,但给它运行的Java平台,我不想得到头痛。 我已经尝试过,但是这个Java机器和其他的不能很好地满足我对存储响应时间和安全性的需求。

    在Linux下,文件系统BTRFS和ZFS上提供了重复数据删除选项。 BTRFS是在linux下自行开发的,具有脱机重复数据删除工具。 我不是在想'脱机',你必须卸下fs。 离线意味着,积极编写的数据不会被重复数据删除。 但后来你运行重复数据删除工具认为现在存储。 其实可能工具是在testing版。 其他的方法是在ZFS里面。 可以作为FUSE和本地:http: //zfsonlinux.org/ 。 这样做在线重复数据删除,不幸的是这减慢了写入,因为所有的都必须在飞行中计算。 你可以在网上closures这个行为。 在您closures重复数据删除之后,所有重复数据删除的数据仍将保存为重复数据删除。 新写入将被存储为“重复”。 如果您希望将来对该数据进行重复数据删除,则必须打开重复数据删除并重写所有“重复”文件。

    请参阅页面上的文档。 为了加快写入和读取速度,可以将更快的设备添加到存储池(特别是SDD驱动器或更快的USB闪存,注意设备的可靠性)。

    DRBD做到了这一点,并且真的很好! 可以做主/奴隶或主人/主人:-)