Gnu并行不使用所有的CPU
我有一个简单的Python脚本,从标准input读取(单行),做一些处理(stringparsing,没有涉及IO),并输出到标准输出 eg python parse.py < in.txt > out.txt 我有一个200GB左右的in.txt ,并行加速(我有8个CPU核心)。 cat in.txt | parallel -j8 -N1 –pipe python parse.py 我观察到CPU是他们没有充分利用,例如 %Cpu0 : 9.1 us, 22.7 sy, 0.0 ni, 68.2 id, 0.0 wa, 0.0 hi, 0.0 si, 0.0 st %Cpu1 : 27.3 us, 13.6 sy, 0.0 ni, 59.1 id, 0.0 wa, 0.0 hi, 0.0 si, 0.0 […]