从HDFS删除临时目录

有没有从hdfs / tmp目录中删除旧文件的巧妙方法? (只是为了确定,我不是在谈论unix FS / tmp)

hadoop fs -stat "%Y" "/path/*"将在/ path /中输出所有内容的时间戳。 把它和一个中断一起使用,你可以把它清理成一个由cron启动的shell脚本。

这可能会更聪明,然后parsinghadoop fs输出的其他东西。

下面是一个小工具的源代码: https : //github.com/mag-/hdfs-cleanup/

我可以自己编写一个(或者将给定的一个移植到Python),所以我不需要在我的公司中为Golang创build一个构build链。

还有一个Ruby用户: https : //github.com/nmilford/clean-hadoop-tmp