显卡配置

大模型项目启动后，最先卡住人的往往是GPU云服务器如何选。配置表上的型号、显存和单价都写得很清楚，真正下单后却可能出现两种情况：算力不够，训练跑到一半显存溢出；或者配置过高，预算花了，卡大半时间在闲置。这篇文章梳理选型时需要看的几个维度，并用两个案例说明判断方法。 一、先弄清楚任务类型 选卡之前，先确定你要做的是推理、微调还是训练。三者对硬件的要求差别很大，…