CUDA设置

最近在部署深度学习模型的时候，遇到了一个挺头疼的问题。我们服务器上有四块GPU，其中一块老是出问题，导致训练任务经常中断。同事建议我把那块有问题的GPU禁用掉，这样任务就能在其他正常的GPU上运行了。听起来很简单对吧？但实际操作起来，还真踩了不少坑。 为什么要禁用某块GPU？ 可能有人会问，GPU这么宝贵的资源，为什么要禁用呢？其实原因还挺多的。比如我们遇到…