显存扩展

很多团队在云上跑大模型推理或深度学习训练时，都会遇到 CUDA out of memory。云服务器的显存容量出厂就固定了，不能像内存条那样再插一根。所以“扩展显存”其实是几条不同的路：换更大显存的实例、多卡分摊、压缩模型、把部分数据挪到内存或硬盘、改程序减少占用。每条路的成本和适用场景差别很大，选错了会白花钱。 先搞清楚显存被谁占了 以大语言模型推理为例，…