任务调度程序,保持一定数量的任务运行

我想要运行400个耗时的Web提取任务,而不是只是一个接一个地运行它们,一次只能运行6个,以加快整个任务的执行时间。 我想要达到的最理想的是创build400个任务,select我想要6个并发运行,然后调度程序软件将确保6总是运行,当一个完成列表中的下一个启动。 这可能吗?

如果上述理想的解决scheme不可用,我正在考虑创build6个独立的任务列表,每个列表总共有1/6的列表。然后任务可以同时启动,每个单独的任务列表将启动在前一个完成时,列表中的下一个。

有任何想法吗?

在Linux上 ,这可以通过xargs来实现:

cat cmds | xargs -n 1 -P 6 -0 bash -c 

其中cmds是使用bash执行的命令列表


在Windows上,我build议你尝试用PowerShell来解决这个问题。 在堆栈溢出时有关于这个主题的多个 问题