最快的方法来删除大量的大文件

我有一个目录集成testing临时文件,其结构如下:

TestTemp --- Test01 (~1.5TB) --- Subdirectory01 (~100GB) -- Destination JSON (1-100MB) --- Subdirectory02 -- Destination JSON files --- Subdirectory03 -- Destination JSON files ... --- Subdirectory15 (about 10-15 dirs) --- Test02 --- Test03 ... --- Test15 (about 5-7 directories) 

总计在10TB左右。

文件系统ext3,不能作为驱动器处理这个目录。 我正在关注这篇文章 ,但是这篇文章更多的是关于大文件的文章。

我试着为每个选项运行6个testing: findexec rm -rffind -delete和那个奇怪的perl脚本,然后并行处理两个目录。

Perl的工作效果最好(大约4分钟),接下来是find -delete (4.10),然后是4.50的第一个选项。

并行化没有给出预期的结果。 所有的选项都工作得更慢。 而这只是两个目录在同一时间。 我想,给更多的目录会导致更长的运行时间。

我没有尝试GNU实用程序parallel因为我没有root权限(清理脚本由Jenkins运行),所以我无法安装它。

什么是最好的select,尽可能快地删除众多目录中的大量文件?

用ext3文件系统可以得到更好的效果并不明显。 从这个服务器故障线程上发现一个长时间的调查看到这些图 。 无论他们做了什么,花了几分钟。

扩展名或xfs的ext4可能更快

如果您正在删除整个树,并且可以为其指定一个卷,则可能会脚本每次删除逻辑卷并重新创build文件系统。 如果说到这一点,你可以试试不同的文件系统。