8 GPU机器冻结

我们有一个SuperMicro GPU服务器:

  • 2x Intel(R)Xeon(R)CPU E5-2660 v4 @ 2.00GHz
  • 512GB内存
  • 绰绰有余的磁盘空间
  • X10DRG-O + -CPU(BIOS版本:2.0a [current])
  • X9DRG-O-PCIE PCI-E扩展卡
  • 8倍GTX 1080

它使用Ubuntu 16.04.1 LTS,NVIDA驱动程序367.57和CUDA-8.0进行设置。 运行时,暂时运行良好。 然而,对于股票内核(v4.4)来说,这是完全没有用处的 – 当在GPU上做一些不重要的事时,系统几乎立即冻结。 因此,我们怀疑硬件问题,但散热效果不错,而另一台几乎完全相同的机器(只是不同的GPU制造商)显示出完全相同的行为。

为了使它运行良好一段时间,你必须将内核降级到v3.14.1-trusty(几乎在每个版本之前testing过)。 但是仍然存在随机冻结,通常在日志中没有任何内容。 有时整个机器会冻结,有时甚至是GPU相关的进程。

似乎还有其他人[1]有这个问题,但没有解决scheme。

有没有人有这种types的机器相同的经验?

更新:如果卡只插在PCI-E扩展器的一侧,这意味着所有卡都由同一个CPU驱动,所以这些机器看起来运行稳定(不pipe任何软件)。 然而,另一台机器似乎运行稳定的8个卡(正常运行时间大约4个月)与内核3.19几个月后有上述问题。 离奇。

[1] https://devtalk.nvidia.com/default/topic/958927/gpu-job-fail-/

[2] https://devtalk.nvidia.com/default/topic/959699/linux/nvidia-smi-periodically-crashes-system-on-ubuntu-16-04-lts/

SuperMicro似乎解决了PCI总线(电源pipe理)的一个已知问题。 我们刚收到来自他们的可刷新的BIOS +固件更新并正在testing它。 我不认为我可以分享更新(不知道授权),所以会build议你联系SuperMicro ..

我在同一台计算机上有完全相同的问题。 要解决这个问题,您需要通过更换主板上的跳线JPG1来禁用板载VGA。 不幸的是,您需要移除子板才能这样做。 需要注意的是,要重新安装子板,可能需​​要施加相当大的压力才能重新正确连接主板。