服务器突然无法登录、应用频繁重启,日志里出现“阿里云 out of memory”,很容易让人先想到扩容。但这类告警背后的情况并不相同:可能是 ECS 主机内存耗尽,也可能是容器触及内存限制,或者应用在流量高峰时短时间占用过多内存。扩容有时能先把服务救回来,却不一定能解决反复发生的问题。
排查时先记下告警和故障发生的时间,再依次确认有没有 OOM 记录、哪个进程或容器受到影响,以及当时正在运行什么业务。把主机、容器和应用这几层信息对照起来,通常比单看一张内存使用率图更容易找到原因。
报错里的 OOM 是什么
OOM 是 Out Of Memory 的缩写,指系统或运行环境无法继续满足内存申请。Linux 内核遇到严重内存压力时,可能启动 OOM Killer,结束一个或多个进程,避免系统整体无法运行。日志中常见 Out of memory、oom-kill 和 Killed process 等字样。
排查时要分清问题发生在哪一层:
- ECS 主机内存不足:整台实例可用内存偏低,系统可能回收缓存;压力严重时会杀掉进程。
- 容器达到内存限制:ECS 还有可用内存,容器却已经触及自己的 memory limit,容器内进程仍可能被终止。
- 应用占用异常:内存泄漏、并发量突然增加,或一次加载过大的数据,都可能让应用用量快速上升。
因此,ECS 监控没有显示内存满载,也不能排除 OOM。应用如果运行在 Docker 或 Kubernetes 等受限环境中,还要核对容器的内存限制和实际使用量。
先确认是否真的发生了 OOM
在 Linux 上,可以根据故障时间查看内核日志。常见命令包括:
dmesg -T | grep -i -E 'out of memory|oom|killed process'journalctl -k --since "30 minutes ago"- 根据发行版检查
/var/log/messages或/var/log/syslog
日志中如果出现被杀进程的名称、进程 ID 或内存信息,通常能确认内核曾处理 OOM。若没有相关记录,也不要马上认定告警有误:容器平台可能有独立的内存限制,应用也可能记录了自己的内存错误;监控采集与故障发生时间还可能存在偏差。要把系统、平台和应用日志放在一起核对。
同时查看阿里云监控中的内存、负载、网络流量和磁盘读写趋势,重点看故障前后的变化。内存持续上涨后突然下降,可能与进程被杀有关;如果用量只在流量高峰短时间升高,则应继续检查并发请求、批处理任务和峰值容量。
定位占用内存的进程或容器
故障仍在发生时,可先用 free -h 查看内存概况,再用 top 或 ps aux --sort=-%mem | head 找出当前占用较高的进程。需要留意,OOM Killer 结束进程后,现场可能已经变化;这时要结合历史监控、应用日志和内核记录回看,不能只依据恢复后的进程列表判断。
容器环境还要检查容器或 Pod 的内存使用量、限制值和重启状态。Kubernetes 中如果 Pod 状态显示 OOMKilled,通常表示容器曾因内存限制被终止。继续核对容器的 limit、request、节点可用内存和应用峰值。只看 ECS 总内存,容易漏掉“主机有余量、容器先超限”的情况。
按原因处理,别只靠重启
- 容量确实不够:比较常态用量和业务峰值,必要时升级实例规格或调整容器资源配额。调整后继续观察高峰期的用量,别只按平时负载估算。
- 内存一直增长:检查对象是否未释放、缓存是否有上限,以及连接和后台任务是否积压。Java 等运行时还要结合堆内存配置和垃圾回收日志分析。
- 流量或任务突然增加:通过限流、队列、分批处理或并发控制削峰,避免大量请求同时读取和处理数据。
- 看到缓存占用偏高:先判断它是应用占用还是 Linux 文件缓存。查看
free输出时,重点参考available,不要只盯着free一列。 - 需要先恢复服务:可根据业务风险重启异常进程或扩容,但先保存日志和监控数据。直接重启可能清掉关键现场,之后难以确认触发原因。
关闭 OOM Killer 或盲目增加 Swap,都不适合作为根治办法。Swap 在部分场景下能提供缓冲,但磁盘速度远慢于内存,可能让系统严重卡顿;是否配置要结合业务特点和云盘性能判断。也不要随意结束系统关键进程,以免内存故障进一步变成整机不可用。
案例:ECS 内存未满,容器服务仍反复重启
某业务部署在阿里云 ECS 上,晚间流量高峰时接口间歇性失败,并出现“阿里云 out of memory”告警。运维查看 ECS 监控,发现内存使用率没有长期达到满载;再检查 Pod 状态,发现容器多次出现 OOMKilled。该容器的内存限制为 1 GiB,而应用在批量生成报表时会短时间读取大量数据。
团队对照容器重启时间查看业务日志,发现问题集中在报表任务并发执行期间。随后降低任务并发,改为分批读取,并为容器设置与节点容量相匹配的资源上限。调整后继续观察峰值内存和 Pod 重启次数,问题明显减少。这个场景提醒我们:主机监控看起来正常,不代表容器没有触发 OOM,排查时要把主机、容器和应用三层信息对起来。
减少 OOM 再次发生
可以为可用内存、内存使用率、进程重启和容器 OOM 事件设置告警,并保留足够长的监控周期,方便故障后回看。批处理、报表、缓存和大文件操作要关注峰值;如果应用内存曲线持续爬升,也应及时检查,而不是等到服务重启才处理。
故障发生时,记录时间、实例规格、进程或 Pod 名称、容器限制值和相关日志片段,能让后续排查少走弯路。处理阿里云 out of memory,先确认问题出在主机、容器还是应用,再决定是扩容、调整资源限制,还是改进程序和任务并发。重启或扩容可以用于应急,长期稳定还需要结合容量规划和应用侧优化。