系统内存

租GPU云服务器时，不少人只看显卡型号，内存随便选。结果模型跑到一半报错，或者显卡利用率一直上不去。这里说的GPU云服务器内存其实有两种：显卡自带的显存，和主机上的系统内存。两者管的事不同，任何一边选小了，训练和推理的速度与成本都会受影响。 先分清显存和系统内存 显存焊在GPU芯片旁边，专门放模型权重、中间激活值和梯度。带宽很高，但容量固定，常见规格有16G…