本地电脑跑不动模型，是很多人第一次想租云服务器跑GPU的原因。训练一个小模型、批量出图或者渲染视频，普通显卡用不了多久就吃紧。高端卡一张动辄上万元，项目结束后闲在那里，买下来多半不划算。
租还是买，先看每周用多久
判断方法很朴素：看每周真正占用机器的时间。一台机器每周只用几个小时，租用更省心，也不用操心散热和维护。如果每天都要满负荷跑十几个小时，而且会持续一年以上，自己买卡或者包月通常更便宜。拿不准的时候，可以先按量租用一个月，记下实际用量，再决定长期方案。
做设计的小陈每月有两三次大批量出图任务，每次大约半天。他把一年的租用费用和一张中高端显卡的价格放在一起对比，租用的花费不到买卡的三分之一，还省下了电费和机器维护的麻烦。另一家做语音识别的小公司情况不同，每天都有训练任务。后来他们改成包月机器，原因很直接：长期跑下来，包月的单位成本明显低于按小时付费。
选机器前先看三个参数
- 显存大小：决定你能跑多大的模型，或者一次能处理多大的图片批次。显存不够，再快的卡也跑不起来，所以先看这一项。
- 显卡型号：大规模训练常用数据中心级显卡，推理和小规模生成可以用消费级卡。不同型号的价格可能相差好几倍，别为用不上的性能付钱。
- 单卡还是多卡：多卡之间的互联速度直接影响训练效率。选多卡机器前，先问清楚是否支持高速互联，否则加卡未必能提速。
同一个任务，三种选法怎么比
假设要对一个70亿参数的开源模型做微调，常见的做法大致有三种。
- 用一张24GB显存的卡，按小时计费，单次大约跑6小时。单价最低，但显存紧张，要靠量化和小批次来适配，训练时间会拉长。
- 用一张80GB显存的卡，单次约2小时。单价更高，不过总花费未必比第一种多出太多，而且省去了反复调参的时间。
- 用两张卡并行，理论上应该更快。但如果框架没配置好，实际只快了不到一半，多付的钱没有换来等比例的速度。
这个例子里，选型该比的是总成本，也就是单价乘以实际运行时长。只看每小时价格，很容易选错。
计费方式和算账
云平台的计费一般分三种：按量计费（按小时或按秒）、包天包月、抢占式实例。按量最灵活，单价也最高。抢占式便宜，但机器可能随时被回收，适合能断点续训的任务，训练时要记得定期存检查点。
用一个演示数字算笔账。某卡每小时12元，每天训练8小时，按30天计算，就是12 × 8 × 30 = 2880元。拿这个数和同款卡的包月价比一比：如果包月折算下来更便宜，长期稳定运行的任务就该优先包月。上面的数字只是演示，实际价格以下单页面为准，不同地区和时段的差别也可能很大。
常见的坑
- 忘记关机。实例开着就计费，哪怕没在跑任务。有位同学忘了释放一台机器，周末多花了几百元。可以设置闲置自动关机，或者用定时脚本定期检查。
- 数据盘没挂载好。系统盘空间通常较小，模型和数据应放在数据盘。系统盘写满后，任务会直接崩溃，而且很难一眼看出原因。
- 流量和下载速度。大模型权重动辄几十GB，下载前先看带宽和流量的计费规则。有些平台对出网流量单独收费，要提前算进预算。
- 环境版本不匹配。驱动、CUDA和深度学习框架的版本必须对应。直接用平台提供的基础镜像，能省下不少排错时间。
- 数据安全。不要在实例里明文保存密钥和密码。训练结果及时下载，或者备份到对象存储。
下单前的检查清单
- 估算任务需要的显存，再预留20%左右的余量，避免刚好卡在线上。
- 对比按量、包月、抢占式三种价格，按实际运行时长算总费用。
- 选带有所需框架的基础镜像，先用小数据集跑通一次，确认流程没问题。
- 把数据放在数据盘，并定期保存检查点。
- 设置预算提醒和闲置自动关机。
先用最便宜的配置把流程跑通，再决定要不要升级。很多时候卡本身够用，问题出在流程还没理顺。
