中小型AI团队迟早会碰到算力的问题。自建GPU机房前期投入不小，采购要等，设备买回来利用率还忽高忽低。所以不少团队改用按需开通的GPU云服务器，把时间留给模型和业务。七牛云是国内较早做云计算和音视频服务的厂商，它的GPU云服务器也在训练、推理、渲染几类场景上陆续铺开。这篇文章借一个典型案例，聊聊选型时该看什么，以及训练和推理到底差在哪。
一、云端GPU省在哪，又不省在哪
GPU擅长并行计算，深度学习训练、批量推理和视频处理都吃这个能力。但团队的算力需求很少平稳。模型迭代的那几天，可能要多卡连续跑好几天；上线之后，推理请求却跟着业务白天黑夜地涨落。自有硬件若按峰值买，大部分时间在空转；若按平均值买，高峰期就得排队。
云上最直接的好处是弹性：要用时开，用完就释放，账单跟着业务节奏走。驱动、CUDA环境、基础网络这些琐碎问题也大多交给平台，工程师能把精力放在代码和数据上。不过省事不等于省钱，实例忘了关，费用照样在跑，这一点后面还会提到。
二、训练和推理，选型的侧重点不同
很多人选型时只盯着一张卡的型号，其实训练和推理对资源的要求差别很大。训练更看重显存和多卡之间的通信，任务时间长，吞吐要稳，中途掉线的代价最大。推理更在意单次响应延迟和按请求量伸缩的能力，单卡性能够用、扩缩容够快，往往比峰值算力更重要。
所以先想清楚自己的负载属于哪一种。大模型微调对显存很挑，轻量推理选一款性价比更好的卡就能跑得很稳。如果硬要用同一套配置覆盖两种场景，通常两边都不太满意。
选型时可以逐项对照下面几点：
- GPU型号与显存：先估算模型参数和批大小大致需要多少显存，再选卡。显存不够时被迫拆分训练，研发节奏会明显变慢。
- 网络与存储：训练数据动辄几十上百GB，计算节点和对象存储之间的带宽直接决定读数据的速度。上线前用真实数据读一次，别只看宣传页上的带宽数字。
- 计费与释放：按量、包月、竞价的区别在于能否被中断，以及空闲多久会被回收。确认释放规则，避免训练到一半实例被收走。
- 镜像与框架版本：预装的PyTorch或CUDA版本如果和现有代码对不上，迁移第一周基本都耗在环境上。拿一份现有代码先跑通，再决定用哪个镜像。
- 技术支持：故障出现时的响应速度和排查渠道，对项目节奏影响很直接。提前问清楚工单流程和响应时限，比出事后再着急好。
规格、价格和服务条款都会调整，采购前以官网最新公布的信息为准。这里讲的是判断方法，不是某个具体数字。
三、一个图像生成团队的迁移过程
某图像生成初创团队原先在办公室自建了四张消费级显卡的服务器，用来训练和内部测试。用户增多后，线上推理开始频繁排队；训练任务又常因显存不够被拆成小块，研发进度越拖越慢。
他们分三步走。第一步，训练任务迁到云端GPU实例，本地只留着调试代码，训练产出的权重统一写入对象存储，减少数据在几台机器之间来回拷贝。第二步，线上推理改为容器化部署，按请求量设置弹性伸缩规则，高峰扩容，低谷缩回。第三步，给模型版本建了简单的归档规则，每次训练都记下参数、数据版本和评估指标，出了问题能倒推回去。
迁移完成后，团队最明显的感受有两点：训练排队的时间短了，研究人员能更集中地做实验；本地机器的维护基本没有了，原来管运维的工程师可以转去做推理优化。这个案例里起作用的，是存储、部署和版本记录三件事配合在一起，单看某台机器的性能，解释不了结果。
四、上线前后容易踩的几个坑
数据安全排在第一位。训练数据如果含有用户隐私内容，入库前先脱敏，再按最小权限配置访问，避免实例或存储桶被误开放到公网。
成本要盯着看。云上算力用起来方便，也正因为方便，实例忘了释放就会一直计费。建议设置预算告警，每周清一次闲置资源。
迁移前先做小规模验证。挑一个典型训练任务做基准测试，比对训练时长、单位成本和运行稳定性，数字确认过了，再决定要不要整体搬迁。
如果你的算力需求忽高忽低，七牛云GPU云服务器是值得认真考虑的选项。先看清自己是训练为主还是推理为主，再从显存、网络、计费、镜像和支持几个方面对照，比盯着某一项参数更靠谱。
