本地显卡跑到一半显存爆掉，做深度学习训练、大模型推理或3D渲染的人大概都遇到过。谷歌云服务器GPU的好处很直接：需要时开，用完关，不用先花一笔钱买卡。问题是机型多，计费项也多，没想清楚就下单，很容易多付不少钱。下面按实际操作的顺序，说说怎么选。
先看机型，各系列的定位差别不小
谷歌云的GPU实例大致可以分成几类，选之前先对号入座：
- A3系列（NVIDIA H100）：适合大规模模型训练。显存大，多卡之间的互联带宽高，任务规模上去以后，这一点才会体现出来。
- A2系列（NVIDIA A100）：训练和高性能计算里用得最多的一类。生态成熟，网上的踩坑记录和示例也多，遇到问题比较好查。
- G2系列（NVIDIA L4）：偏推理和图形渲染。功耗低，单位成本相对好控制。
- N1系列挂载T4、V100等GPU：老一代组合。做轻量推理、功能测试，或者预算很紧的小实验，依然够用。
机型能不能开，要看区域。不是每个可用区都能开通全部型号，有时想要的卡在目标区域根本没有库存。所以正式下单前，先去控制台确认目标区域的库存，省得方案定了才发现开不出来。
下单前先回答三个问题
- 任务是训练还是推理？训练对显存和多卡互联要求高，推理则更看单次响应的延迟，以及每次请求分摊下来的成本。两者的选型思路不一样，别用同一套标准去衡量。
- 显存够不够？模型参数量决定了显存的下限，但别只看模型文件的大小。加载权重之外，激活值和优化器状态也要占空间，实际需要的显存通常明显高于模型文件本身。直接拿文件大小当标准，很容易选小。
- 任务能不能被中断？如果能接受中途被回收，可以考虑Spot（抢占式）实例，价格一般低于按需实例。不能中断的任务，还是用按需实例稳妥。
两个实际场景
小团队微调开源大模型
某AI初创团队要在一个数十亿参数的开源模型上做领域微调。最开始他们在本地消费级显卡上跑，显存经常不够，一轮训练拖得很长。后来改用A2实例按小时租，训练完就立刻释放。训练脚本里加了定期保存检查点的逻辑，他们又进一步用上了Spot实例。即便中途实例被回收，也能从最近的检查点接着跑，不用从头来过。算下来，单次实验的成本比预期低，迭代也快了不少。
这个案例里起作用的是两件事：实例按需开关，训练过程能随时恢复。只换机器、不改脚本，省钱的效果会打折扣。
电商图片审核的在线推理
一家电商平台要对用户上传的商品图片做实时违规检测。平时请求量不大，到了促销期会暴涨好几倍。团队选了G2实例（L4 GPU）部署推理服务，配合托管实例组，按请求量自动扩缩容。平峰期只保留少量实例，大促来了自动加机器。和长期维持一个固定规模的集群相比，资源利用率高了不少，也不用为了峰值一直付费。
这类场景的关键在于最小实例数怎么设。设得太低，突发流量来时扩容跟不上，审核会排队；设得太高，又等于白白付着闲置的钱。两头都要结合实际的请求曲线来看。
几个省钱的具体做法
- 训练任务先考虑Spot实例，但前提是代码里已经实现了检查点。否则实例被回收，前面的计算就白跑了。
- 推理服务开启自动扩缩容，并给最小实例数设一个合理的下限。除非业务能接受首次请求变慢，否则别设成0，冷启动会拖慢第一次响应。
- 实例用完立刻停止。闲置的GPU是最常见的浪费来源，不少账单超支都出在忘了关机上。
- 如果某个负载已经连续稳定运行很长时间，可以评估承诺使用折扣（Committed Use Discounts），前提是这部分用量短期内不会明显变化。
- 在预算里设置提醒，定期去成本分析工具里看账单。哪一项涨得异常，越早发现越好。
开始之前的两个小提醒
GPU配额一般要单独申请，新项目的默认额度可能是零。如果项目马上要用，最好提前提交申请，别等到部署那天才发现开不了机。
另外，驱动和CUDA版本要和深度学习框架对得上。直接用官方提供的深度学习镜像，环境基本就配好了，能省下不少排查版本冲突的时间。
总结起来，谷歌云服务器GPU的优势是灵活。先想清楚任务是训练还是推理、显存大概要多少、能不能接受中断，方向基本就定了。具体价格和机型可用性，还是以官方控制台和定价页面的最新信息为准。
