现在我有几个与ext4 linode。 我有一个hadoop设置。 如果我将我的文件系统从ext4迁移到zfs,我将获得什么好处。
如果我在云中添加一个新的linode,同步时间会比ext4减less吗?
另外还有哪些方面呢?
从Adurant的白皮书 :
这种configuration的好处包括:
- 通过将复制因子降低到2倍来减lessHadoop集群开销
- 通过将复制因子减less到2倍来减less存储(磁盘空间)需求
- 通过ZFS存储设备将数据副本数量增加到4倍
- 通过ZFS存储设备增加数据压缩o即使在镜像池configuration中,也可以进一步减less存储空间需求
- 通过ZFS存储设备增加了读取和写入caching,减less了I / O响应时间
- 增加了数据保护(RAID 1),不会增加Hadoop集群的开销
- 通过ZFS存储设备的簇头增加了容错function
结果是:
Hadoop ZFS概念validationtesting的结果清楚地表明,ZFS存储设备不仅能够处理当前的Hadoop工作负载。 数据处理是CPU绑定的,内存利用率是标称的,I / O利用率是标称的,并且数据被压缩了至less3.5倍。
当然,像压缩效率这样的东西很大程度上取决于你的数据,性能不仅取决于devise,还取决于实际的硬件。 该文件还给出了设置的简要介绍。 您可以使用较less的节点和一部分实际数据以较小的方式复制它,然后运行您自己的基准testing。