spark_local_dirs有多less个磁盘?

我正在寻找一个解决scheme来提高我的Spark集群性能,我已经阅读http://spark.apache.org/docs/latest/hardware-provisioning.html :

我们build议每个节点有4-8个磁盘

,我已经尝试了一个和两个磁盘,但我已经看到,与2个磁盘执行时间加倍。 对此有何解释?

这是我的configuration:1台机器与140 GB的RAM 2个磁盘和32个CPU(我知道这是一个不寻常的configuration),在这个我有一个独立的Spark集群与1工人。