第一次接触机器学习，多半是在笔记本上跑个小demo。数据稍微大一点，模型复杂一点，风扇就开始狂转，进度条半天不动。这时候把任务交给服务器，通常是更省事的做法。结合几次实际踩坑，说说用服务器训练模型时要考虑哪些事。
什么时候该上服务器
判断标准不复杂。数据量超过几个G，参数动辄上亿，或者单次训练要跑十几个小时，本地机器基本扛不住。如果还要多人协作、反复对比实验，或者结果要能长期保存、随时复现，服务器的好处会更明显。
也没必要一开始就追求大集群。很多团队的第一台训练机，就是一台装了一两张显卡的工作站，放在机房或者租个云主机，大部分问题已经够用。
硬件怎么选
显卡是核心。训练深度学习模型时，显存往往比算力先卡住你。显存不够，batch size只能往下压，训练变慢，严重时直接报错。做计算机视觉或者中等规模的NLP任务，单卡显存建议至少16GB。要微调大语言模型，24GB以上会更稳妥，或者考虑多卡并行。
内存和硬盘也不能省。数据预处理很吃内存，硬盘读写一慢，GPU就经常闲着，利用率上不去。数据集最好放在NVMe固态硬盘上，内存容量至少是显存的两到四倍。
环境搭建容易出的问题
服务器环境最常见的坑是版本对不上。显卡驱动、CUDA、cuDNN和深度学习框架之间的版本关系很挑。比较稳妥的做法是：
- 先确认显卡型号和驱动版本，再选兼容的CUDA版本，别反过来凑；
- 用conda或venv给每个项目建独立环境，不然几个项目的依赖很快互相覆盖；
- 把依赖写进requirements.txt或environment.yml，版本号要锁死，否则下次重装可能跑不起来；
- 环境要迁移到别的机器时，用Docker把整个环境打包，比手动复刻省心。
环境调通之后，马上保存一份。这一步看着琐碎，但后面排查问题时，能省下大把时间。
案例一：四人小团队的文本分类
某内容平台的算法组有四个人，要对用户评论做情感和违规内容分类，数据约二十万条。最开始大家各自在笔记本上训练，同样的方案跑出来的准确率能差好几个点，谁也说不清差在哪。
后来他们做了两件事。一是把数据清洗和划分脚本放到共享服务器上，所有人用同一份训练集和验证集。二是用实验管理工具记录每次训练的超参数、代码版本和评估指标。就这两步，比较不同方案时终于有了统一的依据，重复实验也少了很多。三周后，最优模型的F1提升了大约五个点，任何人都能在服务器上复现结果。
这个例子里，服务器帮上的主要是让训练过程可以追溯、可以协作，算力倒在其次。
案例二：电商商品图片识别
另一个团队负责电商商品图片分类，图片总量超过两百万张。最初用单卡训练，一个完整周期要将近两天，每改一次参数都得干等。
他们分三步处理。先用多进程加载数据，图片提前缩放到统一尺寸，减轻训练时CPU的负担。接着开启混合精度训练，精度几乎没受影响，显存占用降了近一半，速度也快了不少。最后接入多卡并行，单个周期的时间缩短到原来的三分之一左右。
有个细节很容易被忽略：很多时候，卡住速度的是数据管道。加显卡之前，先看一眼GPU利用率。如果长期偏低，多半是数据喂得不够快，换更好的显卡也没用。
训练中常遇到的问题
任务跑起来以后，还要盯住几类问题。
- 显存溢出：先把batch size调小，实在不行就用梯度累积模拟大批量；
- 训练中断：定期保存checkpoint，并支持从断点恢复，否则一次中断就可能白跑几天；
- 过拟合：盯着训练集和验证集的损失曲线，验证集不降了就考虑早停，或者加数据增强；
- 磁盘占满：checkpoint和日志增长很快，设置保留策略，只留最近几个版本。
服务器通常是多人共用的。最好用任务队列或资源调度工具排队，免得两个人同时占满显卡，互相干扰。
自建还是租云
两种方式各有取舍。自建前期投入大，但长期成本低，适合训练任务稳定、时间跨度长的团队。云服务按需付费，实验阶段或者任务量忽高忽低时更灵活。不少团队会两边都用：日常实验放在云上，正式训练和部署再迁回自有机器。
不管选哪种，先估一下一次完整训练的耗时和费用，再决定配置。硬件堆得太满，常常只是把钱花在了闲着的显卡上。
用服务器训练模型，本质上是把实验过程做成可重复的工程流程。选对显卡，环境能稳定复现，数据管道跑得顺，实验记录留得全，这几点比一味追求最高配置更实在。
