卷重复数据删除可以节省0,并且具有0个InPolicyFiles

我试图从服务器2012 R2重复数据删除function得到一些明智的结果,并反复失败。 我有两个大容量(4 + 2TB),分别暴露为D:和E: 这些卷将作为群集存储分配给两个不同的文件服务器群集资源(不知道这是否会更改任何内容),并且磁盘在我试图启用重复数据删除的计算机上联机。

Enable-DedupVolume D: Enable-DedupVolume E: Set-DedupVolume -Volume D: -MinimumFileAgeDays 0 Set-DedupVolume -Volume E: -MinimumFileAgeDays 0 Start-DedupJob D: -Type Optimization Start-DedupJob E: -Type Optimization 

几分钟后,两个优化作业都完成了。 同时,两个磁盘都有一些磁盘读取负载。 最后,我在重复数据删除日志中得到的事件表明没有任何重复数据删除:

 Log Name: Microsoft-Windows-Deduplication/Operational Source: Microsoft-Windows-Deduplication Date: 12/2/2015 11:36:02 AM Event ID: 6153 Task Category: None Level: Information Keywords: User: SYSTEM Computer: wss-01.example.com Description: Optimization job has completed. Volume: D: (\\?\Volume{73180747-4bf5-4292-86fd-8e8fc4d076c4}\) Error code: 0x0 Error message: Savings rate: 0 Saved space: 0 Volume used space: 2867461320704 Volume free space: 1530452017152 Optimized file count: 0 In-policy file count: 0 Job processed space (bytes): 0 Job elapsed time (seconds): 37 Job throughput (MB/second): 0 

 Log Name: Microsoft-Windows-Deduplication/Operational Source: Microsoft-Windows-Deduplication Date: 12/2/2015 11:38:26 AM Event ID: 6153 Task Category: None Level: Information Keywords: User: SYSTEM Computer: wss-01.example.com Description: Optimization job has completed. Volume: E: (\\?\Volume{a3f85da5-283e-4ed4-81c0-2c0fd163b1c3}\) Error code: 0x0 Error message: Savings rate: 0 Saved space: 0 Volume used space: 2068610711552 Volume free space: 130142007296 Optimized file count: 0 In-policy file count: 0 Job processed space (bytes): 0 Job elapsed time (seconds): 686 Job throughput (MB/second): 0 

数据量相当丰富 – D:主要是ISO映像和不同types的安装程序,而E:是典型的用户家庭数据,所以我预计会有一些节省(至less超过0)。 Update-DedupStatus对任何一个卷的调用都没有太大的作用。 get-dedupstatus结果表示没有文件被认为是“在策略中”进行重复数据删除:

 PS C:\> get-dedupstatus | select-object -Property * ObjectId : \\?\Volume{a3f85da5-283e-4ed4-81c0-2c0fd163b1c3}\ Capacity : 2198752718848 FreeSpace : 130142007296 InPolicyFilesCount : 0 InPolicyFilesSize : 0 LastGarbageCollectionResult : LastGarbageCollectionResultMessage : LastGarbageCollectionTime : LastOptimizationResult : 0 LastOptimizationResultMessage : The operation completed successfully. LastOptimizationTime : 12/2/2015 11:45:10 AM LastScrubbingResult : LastScrubbingResultMessage : LastScrubbingTime : OptimizedFilesCount : 0 OptimizedFilesSavingsRate : 0 OptimizedFilesSize : 0 SavedSpace : 0 SavingsRate : 0 UnoptimizedSize : 2068610711552 UsedSpace : 2068610711552 Volume : E: VolumeId : \\?\Volume{a3f85da5-283e-4ed4-81c0-2c0fd163b1c3}\ PSComputerName : CimClass : ROOT/Microsoft/Windows/Deduplication:MSFT_DedupVolumeStatus CimInstanceProperties : {Capacity, FreeSpace, InPolicyFilesCount, InPolicyFilesSize...} CimSystemProperties : Microsoft.Management.Infrastructure.CimSystemProperties ObjectId : \\?\Volume{73180747-4bf5-4292-86fd-8e8fc4d076c4}\ Capacity : 4397913337856 FreeSpace : 1530452013056 InPolicyFilesCount : 0 InPolicyFilesSize : 0 LastGarbageCollectionResult : 5657346 LastGarbageCollectionResultMessage : There are no actions associated with this job. LastGarbageCollectionTime : 12/2/2015 11:58:12 AM LastOptimizationResult : 0 LastOptimizationResultMessage : The operation completed successfully. LastOptimizationTime : 12/2/2015 11:45:10 AM LastScrubbingResult : 0 LastScrubbingResultMessage : The operation completed successfully. LastScrubbingTime : 11/28/2015 3:45:07 AM OptimizedFilesCount : 0 OptimizedFilesSavingsRate : 0 OptimizedFilesSize : 0 SavedSpace : 0 SavingsRate : 0 UnoptimizedSize : 2867461324800 UsedSpace : 2867461324800 Volume : D: VolumeId : \\?\Volume{73180747-4bf5-4292-86fd-8e8fc4d076c4}\ PSComputerName : CimClass : ROOT/Microsoft/Windows/Deduplication:MSFT_DedupVolumeStatus CimInstanceProperties : {Capacity, FreeSpace, InPolicyFilesCount, InPolicyFilesSize...} CimSystemProperties : Microsoft.Management.Infrastructure.CimSystemProperties 

并且configuration在默认设置下非常多:

 PS C:\> get-dedupvolume | select-object -Property * ObjectId : \\?\Volume{a3f85da5-283e-4ed4-81c0-2c0fd163b1c3}\ UsageType : Default Capacity : 2198752718848 ChunkRedundancyThreshold : 100 DataAccessEnabled : True Enabled : True ExcludeFileType : ExcludeFileTypeDefault : {edb, jrs} ExcludeFolder : FreeSpace : 130142007296 MinimumFileAgeDays : 0 MinimumFileSize : 32768 NoCompress : False NoCompressionFileType : {asf, mov, wma, wmv...} OptimizeInUseFiles : False OptimizePartialFiles : False SavedSpace : 0 SavingsRate : 0 UnoptimizedSize : 2068610711552 UsedSpace : 2068610711552 Verify : False Volume : E: VolumeId : \\?\Volume{a3f85da5-283e-4ed4-81c0-2c0fd163b1c3}\ PSComputerName : CimClass : ROOT/Microsoft/Windows/Deduplication:MSFT_DedupVolume CimInstanceProperties : {Capacity, ChunkRedundancyThreshold, DataAccessEnabled, Enabled...} CimSystemProperties : Microsoft.Management.Infrastructure.CimSystemProperties ObjectId : \\?\Volume{73180747-4bf5-4292-86fd-8e8fc4d076c4}\ UsageType : Default Capacity : 4397913337856 ChunkRedundancyThreshold : 100 DataAccessEnabled : True Enabled : True ExcludeFileType : ExcludeFileTypeDefault : {edb, jrs} ExcludeFolder : FreeSpace : 1530452013056 MinimumFileAgeDays : 0 MinimumFileSize : 32768 NoCompress : False NoCompressionFileType : {asf, mov, wma, wmv...} OptimizeInUseFiles : False OptimizePartialFiles : False SavedSpace : 0 SavingsRate : 0 UnoptimizedSize : 2867461324800 UsedSpace : 2867461324800 Verify : False Volume : D: VolumeId : \\?\Volume{73180747-4bf5-4292-86fd-8e8fc4d076c4}\ PSComputerName : CimClass : ROOT/Microsoft/Windows/Deduplication:MSFT_DedupVolume CimInstanceProperties : {Capacity, ChunkRedundancyThreshold, DataAccessEnabled, Enabled...} CimSystemProperties : Microsoft.Management.Infrastructure.CimSystemProperties 

我已经尝试从群集服务angular色中分离相应的磁盘(也就是使它们成为具有“简单”卷和NTFS文件系统的独立磁盘),禁用和重新启用重复数据删除并进行优化运行,而不会对整体结果进行任何重大更改。

那么为什么它坏了,我该如何解决?

我的麻烦似乎是,我试图重复数据删除的数据来自暴露SMB存储的NetApp文件pipe理器。 所有从那里复制的文件(通过robocopy with /COPYALL )似乎都有一个扩展属性“.NETAPP”附加。 重复数据删除是根据文档忽略具有扩展属性的文件 :

注意
具有扩展属性的文件,encryption文件,小于32 KB的文件和重分析点文件不会被重复数据删除处理。

仔细检查这个假设很容易,只需要创build两个文件(几乎)相同的内容:

 type C:\Windows\WindowsUpdate.log > d:\file1.txt type C:\Windows\WindowsUpdate.log > d:\file2.txt 

运行“优化”作业,并将“ InPolicyFilesCount增加到2.其他人在NetApp用户论坛上报告了类似的问题 。

我只需要找出如何在合适的时间去除大约10百万个文件上的EA,幸运的是,Veritas已经发布了EVEARemovalUtility来完成这个任务,因为他们的存档解决scheme遭受了EA与它们创build的连接点之间的不兼容问题归档数据。 该工具是免费下载,用法很简单:

  • EVEARemovalUtility.exe \\server\Share -d -s用它们各自的扩展属性创build文件列表
  • EVEARemovalUtility.exe \\server\Share -r -s删除EA的所有文件

可能由于其年龄,安装方式以及缺less更新的文档,它不能在Server 2012 R2上运行,抱怨缺lessDLL。 我已经使用Server 2008 R2计算机作为解决方法。

EA移除后,重复数据删除按预期运行。