bash：循环超过20000个文件很慢 – 为什么？

对很多文件的简单循环在一个系统上比另一个快一半。

使用bash，我做了类似的事情

for * in ./ do something here done 

使用“时间”，我能够确认，在system2上的“这里的东西”部分比在system1上运行得更快。 不过，系统2上的整个循环只要在系统1上就占用双倍的时间。 为什么？ …如何加快速度？

目录中有大约20000个（文本）文件。 将文件数量减less到大约6000个，大大加快了速度。 无论循环方法如何（使用find命令replace“for in”或者甚至首先将文件名放在数组中），这些发现都保持不变。

• 我如何在Unix中创build日志文件？
• diable显示屏幕上的命令输出？
• bash文件参数问题
• Bash脚本新手 – 意外的文件错误结束
• 使所有用户都可以访问文件系统

System1：Debian（在openvz-vm中，使用reiserfs）
System2：Ubuntu（原生的，比System1更快的处理器，更快的Raid5，使用ext3和ext4 – 结果保持不变）

到目前为止，我应该排除：硬件（System2应该更快），userland软件（bash，grep，awk，find是相同的版本）和.bashrc（没有spiffyconfiguration）。

那么它是文件系统？ 我可以调整ext3 / 4，以便它reiserfs一样快？

感谢您的build议！

编辑：好吧，你是对的，我应该提供更多的信息。 现在我必须揭示我的初学者bash嘟but，但在这里我们去：

  declare -a UIDS NAMES TEMPS ANGLEAS ANGLEBS ELEM=0 for i in *html do #get UID UID=${i%-*html} UIDS[$ELEM]=$UID # get Name NAME=`awk -F, '/"name":"/ { lines[last] = $0 } END { print lines[last] }' ${i} | awk '{ print $2 }'` NAME=${NAME##\[*\"} NAMES[$ELEM]=$NAME echo "getting values for ["$UID"]" "("$ELEM "of" $ELEMS")" TEMPS[$ELEM]=`awk -F, '/Temperature/ { lines[last] = $0 } END { print lines[last] }' ${i} | sed 's/<[^>]*>//g' | tr -d [:punct:] | awk '{ print $3 }'` ANGLEAS[$ELEM]=`awk -F, '/Angle A/ { lines[last] = $0 } END { print lines[last] }' ${i} | sed 's/<[^>]*>//g' | tr -d [:punct:] | awk '{ print $3 }'` ANGLEBS[$ELEM]=`awk -F, '/Angle B/ { lines[last] = $0 } END { print lines[last] }' ${i} | sed 's/<[^>]*>//g' | tr -d [:punct:] | awk '{ print $3 }'` ### about 20 more lines like these ^^^ ((ELEM++)) done 

是的，问题是，我必须读取文件20次，但将文件的内容放在一个variables（文件=（ cat $i ））删除linebreaks，我不能再使用awk …？ 也许我尝试了这个错误，所以如果你有对我的build议，我会很感激。

仍然是：问题仍然存在，阅读该目录中的文件只需要太长时间…

对于硬件问题：好的，system1运行超过5年的硬件，system2是2个月大。 是的，规格是完全不同的（其他主板，处理器等），但是system2在其他方面速度更快，文件系统的原始写入/读取速度也更快。

 for f in *.html do read -r array1[i] array2[i] array3[i] array4[i] . . . <<< $( awk ' /selector1/ {var1 = $2} /selector2/ {split($0,temparray,"<[^>]*>"); split(temparray[2],temparray); var2 = gensub("[[:punct:]]","","g",a[3])} /selector3/ {split($0,temparray,"<[^>]*>"); split(temparray[2],temparray); var3 = gensub("[[:punct:]]","","g",a[3])} . . . END { print var1, var2, var3, var4 . . . }' "$f" ((i++)) done