大模型训练、图像生成、视频渲染这些场景对算力的需求增长很快。自建GPU机房的问题是卡买回来就开始折旧，型号一更新就得重新折腾，扩容也慢。所以不少团队转向云服务器GPU租用，用多少租多少，用完关机，固定投入变成按需支出，账也更好算。
真上手才会发现，租GPU没有看起来那么简单。卡选大了白花钱，计费方式没摸清，账单会比预想高；环境没配好，项目进度也会被拖慢。下面结合两个案例，把选型、计费和部署的思路理一遍。
先看负载，再选卡
GPU型号很多，显存大小、显存带宽、低精度算力、卡间互联方式各不相同。选型时别急着比参数，先想清楚要跑什么。
- 模型推理：重点是显存容量和单卡吞吐。模型权重和KV缓存要能装进显存，装得下之后，中端卡通常就够用。
- 模型微调：显存压力明显更大。用LoRA这类参数高效方法时，单卡24GB到48GB比较常见；全参数微调一般要多卡或更大显存。
- 大规模预训练：卡间通信是瓶颈，NVLink或InfiniBand这类高速互联很关键。单机快还不够，集群通信效率往往决定总耗时。
- 图形渲染与视频处理：更看编解码能力和驱动兼容性，未必需要最新的计算卡。
训练和推理的配置差异，主要来自显存的构成。推理时显存主要放模型权重和KV缓存；训练时还要额外存放梯度和优化器状态，同一个模型的占用往往多出不少。所以能跑推理的卡，不一定能拿来训练。
常见的误区是默认选最新、最贵的卡。不少推理任务在低一档的GPU上已经跑满，单位请求成本反而更低。建议先拿一小批样本跑基准测试，记下吞吐、延迟和显存占用，再决定租哪一档。
案例：一个AI初创团队的选型过程
一支做垂直领域问答的初创团队，原本打算用高端训练卡做模型微调。基础模型约70亿参数，标注数据约十万条。项目负责人没有直接长租，而是先在按小时计费的云服务器上做了两次短测：一次用单张24GB显存的卡跑LoRA微调，另一次用同规格的双卡。
结果是单卡一轮训练约6小时，双卡约3.5小时。双卡确实快，但多卡通信有开销，加速没有理论上那么线性。团队最后选了单卡，又把训练排到夜间低峰段，因为部分平台在这个时段的价格或资源可用性更好。整个微调周期的GPU费用控制在预算的六成以内。
这个案例最值得借鉴的是用实测数据代替主观判断。几个小时的短测成本很低，比直接长租试错划算得多。
计费方式怎么选，隐性费用在哪
常见的计费模式大致有三种：
- 按量付费：灵活，适合短期实验和负载忽高忽低的情况，单价自然高一些。
- 包月或包年：单价低，适合长期稳定的推理服务。但实例闲置时，费用照样在走。
- 竞价实例：价格最低，但随时可能被回收。只适合能中断的训练任务，并且要配合检查点（checkpoint）使用，定时把训练状态存下来，被回收后能接着跑。
主计费项之外，系统盘和数据盘、公网流量、镜像存储都要算进去。有些平台实例停机后仍收取磁盘费用，下单前最好确认清楚。不少团队只盯着GPU单价，月底一看账单，存储和流量那部分超出预期。估算时可以先按“GPU小时数乘单价”算出主费用，再逐项加上磁盘、流量和镜像的预计用量，两者相加才是实际成本。
案例：视频渲染工作室如何压成本
一家小型视频工作室，项目高峰期要快速渲染大量素材，平时几乎没有负载。最初他们包月保留了两台GPU实例，淡季时资源基本闲置，钱花在了空转上。
调整思路是把负载分层。常规工作仍由包月实例承接，高峰期用脚本按需拉起按量实例，渲染任务进入队列，由调度程序统一分配，完成后自动释放实例。跑了两个季度，GPU总支出下降了约三成，交付周期基本没有受影响。
分层的关键在于稳定的部分用长期资源，波动的部分用弹性资源。自动释放尤其要做好，很多浪费就来自忘了关机。
上线前的几项检查
选定机型和计费方式后，正式投入使用前，建议逐条过一遍：
- 核对CUDA、驱动和框架版本是否匹配。优先使用平台提供的预置镜像，能省掉大量环境排查时间。
- 检查网络带宽和存储IO。数据加载跟不上，昂贵的GPU就会一直等数据，利用率看起来很低。
- 设置预算告警和自动关机策略。无人值守时，忘关的实例会按小时持续计费。
- 如果服务对外开放，先配好访问控制：收紧安全组端口，登录改用密钥，不要使用明文密码。
- 定期备份训练数据和模型权重。竞价实例尤其要定时保存检查点，被回收时才不至于从头再来。
租GPU的好处是门槛低，业务怎么变，算力就跟着怎么调。成本和效率通常取决于三件事：机型是否配得上负载，计费方式是否跟上业务节奏，闲置资源能否及时释放。建议先从一次小规模测试开始，每次扩容前都先看一眼数据。
