我正在探索更有效地使用我们的主存储的选项。 我们目前的NAS是带有HP Storageworks MSA20的HP ProLiant DL380 G5和另一个磁盘架，我不确定它是什么。 我们的绝大多数文件都是PDF文件（数以百万计），具有高度的相似性。 在来自George Crump （来自Data Domain的Dedupe Central ）的专家意见 中 ，在关于粒度的部分中，他说：“要有效地进行重复数据删除，需要使用可变长度段在子文件级进行。 这很难find，但我正是需要的。 大多数重复数据删除选项似乎是基于块的，这对于最大限度地减less备份占用的空间非常有效，因为只有更改的块被存储，但是基于块的技术在我们的块内不会find位于不同偏移处的相同片段PDF文件。 有一天我偶然遇到了Ocarina Networks ，这看起来正是我们所需要的。 存储瑞士的实验室报告概述 – 主存储的重复数据删除比较Ocarina Networks和NetApp是“主存储重复数据删除领域的两个领导者”。 理想情况下，我们希望继续使用我们现有的NAS，但要高效得多。 我遇到的另一个解决scheme是Storwize ，它似乎执行单个文件的内联压缩，并与重复数据删除解决scheme集成在一起。 还有什么其他解决scheme和信息资源？
我一直在使用Ubuntu 12.10，32GB RAM（非ECC，生产系统将具有ECC）和一个2x2TB Linuxpipe理的RAID1（将移至RAIDZ1进行生产）的机器上对ZFS进行实验。 我刚刚在2TB软RAID1设备上创build了储jar，启用了压缩和重复数据删除function，并存储了几百GB的数据。 我得到了大约3.5倍的重复数据删除比率（对我的数据来说真的很有意义，这就是为什么我想使用它），但是根本没有剩余的内存，系统变得无法使用。 重新启动系统，一切似乎都很好，然后我写了几GB的数据，一样的东西。 然后我把zfs_arc_max设置为12GB（因为显然我不是唯一一个有内存消耗不足的人），这样可以避免系统变得没有响应，但是写入内存极限并写入内存极限的几GB变得非常慢，基本上无法使用。 我知道，重复数据删除需要内存，但据我所知，这 DDT-sha256-zap-duplicate: 615271 entries, size 463 on disk, 149 in core DDT-sha256-zap-unique: 846070 entries, size 494 on disk, 159 in core DDT histogram (aggregated over all DDTs): bucket allocated referenced ______ ______________________________ ______________________________ refcnt blocks LSIZE PSIZE DSIZE blocks LSIZE PSIZE DSIZE —— —— —– —– —– […]
请在底部阅读更新。 谢谢！ ;） 环境信息（所有Windows）： 2个网站 30个服务器站点＃1（3TB的备份数据） 5个服务器站点＃2（1TB的备份数据） MPLS骨干网隧道连接站点＃1和站点＃2 当前备份过程： 在线备份（磁盘到磁盘） 站点＃1有一台运行Symantec Backup Exec 12.5的服务器，带有四个1TB USB 2.0磁盘。 执行完整备份的作业每晚在站点＃1中的所有服务器上运行到这些磁盘。 站点＃2使用我们购买它们时已有的软件备份到中央文件服务器。 BE作业每晚将该数据提取到站点＃1并将其存储在所述磁盘上。 异地备份（磁带） 连接到我们的备份服务器是一个磁带机。 BE将外部磁盘备份到磁带，每周一次由我们的非现场存储公司提供。 显然我们旋转了两个磁带库，一个总是在这里，一个总是在那里。 要求： 通过在每个站点执行磁盘到磁盘的操作，并将站点＃1复制到站点＃2，反之亦然，从而消除对磁带和非站点存储服务的需求。 基于软件的解决scheme作为硬件选项太昂贵（即，SonicWall，Arkeia）。 适用于Exchange，SharePoint和SQL的代理 一些想法到目前为止： 存储 DroboPro在每个站点的初始8TB存储（目前可扩展到16TB）。 我喜欢这些，因为它们是可机架式的，允许不同的驱动器，并具有iSCSI接口。 他们也相对便宜。 软件 Symantec Backup Exec 12.5已经拥有我们所需的所有代理和许可证。 我想继续使用它，除非有更好的解决scheme，价格相同，BE做的一切加上重复数据删除和复制。 服务器 由于不再需要SCSI适配器（用于磁带驱动器），我们将虚拟化我们的备份服务器，因为它是当前唯一的物理机器保存SQL框。 问题： 在站点之间进行复制时，我们希望尽可能less的数据通过pipe道。 到目前为止，我在这里已经没有重复数据删除或压缩。 被复制的文件是BE的磁盘到磁盘备份的虚拟磁带库。 正因为如此，每一个巨大的文件都会每周穿过网线，因为它们每天都在变化。 最后，这个问题： 是否有任何软件可以执行重复数据删除或至less压缩来处理我们的站点到站点复制？ 或者，看看我们的设置，有没有其他解决scheme，我错过了可能更便宜，更快，更好？ 谢谢。 对不起，这么久。 更新2： 我已经在这个问题上设置了一个奖金，以获得更多的关注。 我正在寻找能够使用尽可能less的数据（压缩，重复数据删除或其他方法）处理两个站点之间的数据复制的软件。 类似于rsync的东西可以工作，但它必须是Windows本地的，而不是一个端口，涉及到shenanigans起床和运行。 更喜欢基于graphics用户界面的产品，我不介意如果它的工作，炮轰出一些骨头。 […]
我有一个Windows Server 2012 Hyper-V主机，在专用的RAID-5卷上有虚拟机。 一台虚拟机也在运行Server 2012，并用于提供文件。 其他虚拟机较小，主要用于临时testing场景。 主文件服务器虚拟机有两个dynamic扩展的VHDX文件 – 一个用于操作系统，一个用于存储。 用于存储的VHDX有很多重复的文件。 我应该在包含主机上的存储VHDX文件的卷上还是在文件服务器VM本身上运行Server 2012重复数据删除？ 我知道在VM中运行它不会减less主机上的VHDX文件的大小，但我的目标是在VHDX文件本身内启用尽可能多的存储容量。 我也明白，如果我在主机上运行它，我将不得不让虚拟机脱机。 在这种情况下，停机时间不是一个问题，只是最好的办法。
我们在接近限制的Windows Server 2012计算机上安装了重复数据删除卷。 这是一个1.3TB的驱动器，有大约10TB的重复数据。 我们希望将所有这些数据复制到一个更大的4TB驱动器上。 执行这个副本的最佳方法是什么，以便我们只复制1.3TB的重复数据删除数据，而不是将整个10TB解包并重新打包。 编辑：我试图一个标准的资源pipe理器文件副本和一个副本项目，但似乎都没有重复数据删除感知。 我也没有跑完成，所以我不能说这是肯定的情况。
我的意思是，我可以查找字典的定义，但为什么每个人都突然谈论虚拟磁带库呢？ 这里有什么新东西，最近有这么多新闻呢？
我是一个小公司的人。 我想要devise一个新的基础架构，包括一个新的服务器和一个单独的备份服务器，以及公司范围的备份策 公司最重要的事情是SQL Server及其数据库。 有10个数据库，但其中只有2个是非常重要的。 第一个8GB，大部分是文本数据和数字。 第二个约16GB /月的300GB增长包含PDF和GIF。 为了节省存储当前的备份策略，每周需要一次完整备份和6次差异。 我认为它每周大约350GB，每月1.4TB。 在阅读了关于无声数据损坏的文章之后，我决定尝试使用Nexenta社区版的ZFS。 我的问题是：ZFS的重复数据删除function是否适合存储备份文件的可靠性，还是应该考虑一些磁带备份或其他function？ 编辑：我知道，现在我们不能预测性能，重复数据删除率等，但我想知道这是否是一个好主意。
我在使用12个Midline（7200 RPM）SAS驱动器的HP ProLiant DL180 G6上运行的辅助存储服务器上使用Nexentastor。 该系统有一个E5620 CPU和8GB RAM。 没有ZIL或L2ARC设备。 上周，我创build了750GB稀疏zvol，并启用了重复数据删除和压缩function，通过iSCSI将其共享到VMWare ESX主机。 然后，我创build了Windows 2008文件服务器映像，并将大约300GB的用户数据复制到VM。 一旦系统满意，我将虚拟机移动到同一个池上的NFS存储。 一旦在NFS数据存储上运行我的虚拟机，我决定删除原来的750GB zvol。 这样做使系统停滞不前。 访问Nexenta网页界面和NMC停止。 我终于能够得到一个生壳。 大多数操作系统操作都很好，但系统挂在zfs destroy -r vol1/filesystem命令上。 丑陋。 我发现了以下两个OpenSolaris bugzilla条目，并且现在明白了该机器将会在未知的时间段内变砖。 已经14个小时了，所以我需要一个能够重新获得服务器访问权的计划。 http://bugs.opensolaris.org/bugdatabase/view_bug.do?bug_id=6924390 和 http://bugs.opensolaris.org/bugdatabase/view_bug.do;jsessionid=593704962bcbe0743d82aa339988?bug_id=6924824 将来，我可能会采取一些buzilla解决方法给出的build议： Workaround Do not use dedupe, and do not attempt to destroy zvols that had dedupe enabled. 更新：我不得不强制系统closures。 重新引导后，系统在Importing zfs filesystems系统中停顿。 现在已经是这样2个小时了。
NetApp提供块级重复数据删除（ASIS）。 你知道在Linux（或OpenSolaris，* BSD）上提供相同function的任何文件系统（甚至是基于FUSE的）吗？ （我不喜欢像硬链接一样的错误重复数据删除）。
既然Windows Server 2012带有NTFS卷的重复数据删除function，我很难find有关它的技术细节。 我可以从TechNet文档中推断，重复数据删除操作本身是一个asynchronous进程 – 与SIS Groveler的工作方式没有什么不同 – 但实际上没有关于实现的详细信息（使用的algorithm，所需的资源，甚至性能方面的信息考虑只是一堆经验法则式的build议）。 我们非常感谢洞察力和指针，与Solaris的ZFS重复数据删除效率相比，一系列的情况将是非常好的。