ZFS:内存问题与重复数据删除即使zdb -DD看起来不错
我一直在使用Ubuntu 12.10,32GB RAM(非ECC,生产系统将具有ECC)和一个2x2TB Linuxpipe理的RAID1(将移至RAIDZ1进行生产)的机器上对ZFS进行实验。 我刚刚在2TB软RAID1设备上创build了储jar,启用了压缩和重复数据删除function,并存储了几百GB的数据。 我得到了大约3.5倍的重复数据删除比率(对我的数据来说真的很有意义,这就是为什么我想使用它),但是根本没有剩余的内存,系统变得无法使用。 重新启动系统,一切似乎都很好,然后我写了几GB的数据,一样的东西。 然后我把zfs_arc_max设置为12GB(因为显然我不是唯一一个有内存消耗不足的人),这样可以避免系统变得没有响应,但是写入内存极限并写入内存极限的几GB变得非常慢,基本上无法使用。 我知道,重复数据删除需要内存,但据我所知,这 DDT-sha256-zap-duplicate: 615271 entries, size 463 on disk, 149 in core DDT-sha256-zap-unique: 846070 entries, size 494 on disk, 159 in core DDT histogram (aggregated over all DDTs): bucket allocated referenced ______ ______________________________ ______________________________ refcnt blocks LSIZE PSIZE DSIZE blocks LSIZE PSIZE DSIZE —— —— —– —– —– […]