租GPU云服务器时，不少人只看显卡型号，内存随便选。结果模型跑到一半报错，或者显卡利用率一直上不去。这里说的GPU云服务器内存其实有两种：显卡自带的显存，和主机上的系统内存。两者管的事不同，任何一边选小了，训练和推理的速度与成本都会受影响。
先分清显存和系统内存
显存焊在GPU芯片旁边，专门放模型权重、中间激活值和梯度。带宽很高，但容量固定，常见规格有16GB、24GB、40GB和80GB。显存容量一旦不够，模型就装不进去，这个限制无法靠软件绕开。
系统内存位于主机上，负责读取数据、做预处理和调度进程。容量大、单价低，访问速度却远慢于显存。
可以这样记：显存决定模型装不装得下，系统内存决定数据能不能顺利送到显卡手里。
案例一：微调7B大模型，先算显存再选卡
某团队要对一个70亿参数的开源大模型做全参数微调。混合精度训练下，每个参数大约占16字节，包括FP16权重、FP16梯度、FP32主权重，以及Adam优化器的两组状态。按这个算法，训练需要的显存在110GB以上。单张80GB显卡装不下，只能多卡并行，或者换一种训练方式。
后来团队改用LoRA微调。基座模型以FP16加载约占14GB显存，训练时只更新少量低秩适配参数。加上激活值和批次数据，单张40GB或80GB显卡就够用。
所以选卡之前，要先确定训练方式。直接按模型文件大小买卡，很容易选错规格：要么买小了跑不起来，要么买大了白花钱。
案例二：推理服务靠量化省显存
某电商团队部署一个13B参数的客服模型。初期用FP16精度，权重约26GB。加上KV缓存后，24GB显存的实例经常爆显存。
改用INT4量化后，权重降到7GB左右，同一张卡能同时处理更多并发请求。量化会带来一定的精度损失，上线前要用真实业务样本对比效果，确认回答质量能接受。
系统内存别省，数据环节最容易出问题
很多人觉得系统内存无所谓，偏偏数据环节最容易出事。某视觉团队在一台80GB显存的GPU云服务器上训练图像分类模型，主机只配了32GB系统内存。数据加载器开了多进程预处理，内存很快占满，进程被系统杀掉，显卡利用率长期低于30%。
把系统内存升到256GB后，数据预取和缓存都跟得上，训练时间缩短了近一半。
一个常见的起步参考是，系统内存不低于显存总量的两倍。数据量大或预处理复杂时，还要留出余量。内存带宽，以及主机与显卡之间的通信能力，也会影响数据吞吐，选配时可以一并看。
选购前的四个检查步骤
- 估算模型规模和训练方式对应的显存需求，再确定显卡型号。
- 统计数据集大小和预处理步骤，据此定下系统内存的下限。
- 测试阶段先选按量计费，用小样本跑通流程。确认稳定后，再决定是否转为长期配置。
- 确认实例是否支持内存扩展。后期如果必须迁移到新机器，就会产生停机成本。
常见误区
- 系统内存大，不代表显存够。两者无法互相替代，主机内存再大，也不能让显卡上的显存变大。
- 只看显卡数量，不看单卡显存。多卡之间要通信，通信开销可能抵消多卡带来的性能收益，单卡显存不足时尤其明显。
- 估算推理显存时只算权重，忽略KV缓存。并发请求增多后，缓存占用会明显增加，24GB显存的卡就是这样爆掉的。
开始租用前，可以先用目标模型和一批真实数据跑一轮小规模测试，同时观察显存占用和系统内存使用曲线。把实测数字和实例规格对照着看，比只凭经验估算更有把握。
