AI训练优化

不知道你有没有遇到过这种情况，想训练一个大型的AI模型，结果发现一张显卡跑起来慢得像蜗牛，训练一个模型要好几天甚至几周。这时候，多卡并行训练就派上用场了。简单来说，它就是同时使用多张显卡来训练同一个模型，把计算任务分摊到不同的卡上，从而大大缩短训练时间。 多卡并行训练到底是什么？ 多卡并行训练，顾名思义，就是用多张显卡一起来训练模型。这跟我们平时干活找帮手是…