显存

租GPU云服务器时，不少人只看显卡型号，内存随便选。结果模型跑到一半报错，或者显卡利用率一直上不去。这里说的GPU云服务器内存其实有两种：显卡自带的显存，和主机上的系统内存。两者管的事不同，任何一边选小了，训练和推理的速度与成本都会受影响。 先分清显存和系统内存 显存焊在GPU芯片旁边，专门放模型权重、中间激活值和梯度。带宽很高，但容量固定，常见规格有16G…

很多团队第一次看AI云服务器的报价，会觉得单价不便宜。真正算总账时，问题往往出在显存和带宽上。显存不够就得多开几张卡，带宽不足又会让GPU等数据，钱花了，机器却在闲着。把这两项拆开算清楚，成本数字才有参考价值。 先算显存，决定要开几张卡 显存是成本的起点。模型权重加载进显存后，推理时还要留出KV缓存和中间激活的空间，所以判断够不够用，不能只看模型文件大小。一…