正向同步到HDFS? (或继续不完整的hdfs上传?)

任何人都有一个很好的build议做一个前向同步到HDFS? (“前向同步”与“双向同步”相反)

基本上我有大量的文件要放入HDFS。 它太大了,以至于我经常说在连接完成之前就失去了连通性。 我想要做的只是做一个“简历”我的file upload。 然而, hadoop fs -put将只是再次上传整个目录(或者如果存在抱怨)。

任何人都有一个很好的方法来继续不完整的hdfs上传?

如果您运行的是足够新的Hadoop,则可以使用FUSE挂载hdfs,并使用rsync。

也可以build立一个仅限本地的hdfs,然后使用distcp。