服务器出问题时,常见表现是页面打不开、接口变慢,或 CPU、内存等资源占用突然升高。原因可能在应用、系统,也可能在数据库或网络。阿里云服务器日志分析能帮助你沿着故障发生的时间和请求链路查找线索;但要得出可靠结论,还需要把日志与监控指标、变更记录放在一起核对。
先按故障现象选择日志
访问日志、应用日志和系统日志回答的问题不同。先判断故障影响了哪些服务、从什么时候开始,再选择相关日志,通常比把所有日志混在一起检索更快。
- 访问日志:常见字段包括请求时间、来源地址、请求路径、状态码和响应时长,可用于查看流量变化、接口错误和异常访问。
- 应用日志:由业务程序生成,可能记录异常堆栈、业务错误码和处理节点,适合排查代码问题或依赖服务故障。
- 系统日志:可用于检查服务启停、磁盘空间、内存压力、网络连接和权限等主机层面的情况。
- 操作与安全相关日志:可用于回看账号、配置或资源变更,以及登录失败、权限异常等线索。具体能查到哪些记录,取决于所用产品和配置。
跨服务排查时,留意时间戳、主机名、服务名和请求标识是否统一。如果应用服务器、数据库和日志平台的时间有偏差,或者机器使用了不同的时区,同一件事在日志里可能会落到不同时间段,增加定位难度。
把日志采集和检索准备好
确认日志能采到,也能查到
在阿里云环境中,可以根据业务需要把日志接入日志服务(SLS),也可以先登录 ECS 查看本地日志文件。集中采集时,检查采集路径、文件轮转规则、访问权限和网络配置;不需要的目录、临时文件尽量不要一并采集。日志服务的接入方式和可用能力,以当前产品文档及控制台配置为准。
日志轮转尤其容易留下隐患。应用长期写入同一个文件,可能占满磁盘;文件轮转后,如果采集配置没有跟上,也可能漏采或重复采集。上线采集配置前,写入一条测试日志,再到检索端确认能否找到,能提前发现链路问题。
统一字段,方便组合查询
日志建议使用统一时间戳,并尽量采用 JSON 等结构化格式。环境、主机、应用、日志级别、请求路径、状态码、耗时和请求标识,都是常见的检索字段。手机号、令牌、密码等敏感信息不要直接写进日志;确实需要排查时,应使用脱敏后的标识。
例如,接口变慢时,可以先限定应用和故障时间,再筛选 5xx 状态码或 ERROR 级别,接着按主机、接口或请求标识查看分布。与逐台登录 ECS 翻文件相比,结构一致的日志更容易发现多台机器是否出现了相同问题。
按时间、影响范围和证据推进排查
- 确定时间窗口:记下故障首次出现和恢复的时间,先统一时区,再向前后各留出一段范围,避免只查到故障最明显的几分钟。
- 判断影响范围:确认是单台 ECS、某个应用或某类接口异常,还是所有用户都受到影响。范围不同,优先检查的组件也不同。
- 筛选异常信号:查看错误级别、状态码、超时、重试和连接失败等记录,也要比较故障前后响应时长和错误数量的变化。
- 关联上下游日志:有请求 ID 或链路标识时,用它串起应用、数据库和缓存等服务;没有标识时,可先按统一时间线比对各组件的异常。
- 确认修复是否生效:修复或回滚后继续观察日志和监控指标,确认错误率、响应耗时等恢复。页面暂时能打开,不足以证明故障已经排除。
案例:接口变慢,线索指向数据库连接
某电商团队发现,晚间订单查询接口响应变慢,少量请求返回 5xx。团队先按故障时段查看访问日志,发现慢请求集中在订单查询路径,而且涉及多台 ECS,不像是单台机器负载异常。随后按请求标识查应用日志,看到部分请求等待数据库响应的时间变长;数据库侧也出现了更多连接超时记录。
团队接着对比故障前后的数据库连接数、查询耗时和应用重试记录,确认问题集中在数据库连接等待,而不是前端流量突然增加。排查发现,一次业务变更使部分查询耗时增加,连接被占用的时间也随之变长。团队先回滚相关变更,再优化查询,并持续观察访问日志中的响应时间分布和应用错误数。调整后,慢请求与连接超时逐步下降。
访问日志能指出哪些请求变慢,应用日志可能显示数据库超时,但单看其中一种日志,往往不足以确认故障原因。把不同服务的记录按时间和请求标识关联,再与云监控指标、变更记录和业务监控核对,判断会更稳妥。
排查时容易忽略的几件事
- 只搜 ERROR:耗时上升或重试增多时,日志里未必马上出现错误。排查接口问题时,也要看响应时间、状态码和关键业务事件。
- 只看一台机器:分布式服务的异常可能同时涉及多台 ECS 或依赖组件。先确认影响范围,再集中检索相关日志,避免漏掉上下游线索。
- 采集范围没有筛选:无差别采集会增加存储和检索成本,也可能扩大敏感信息暴露的风险。按排查用途确定采集目录和保留周期。
- 忽略权限和留存:为日志检索设置必要的访问权限,并定期检查授权;保存期限应结合合规与业务要求,同时评估日志中的个人信息和凭证风险。
- 用日志代替告警:日志适合定位和复盘,关键故障还应配置监控告警。上线前验证阈值、通知渠道和处理人,避免告警发出后无人接手。
把排查过程留给下一次
故障处理结束后,保留一份简短记录:故障时间、影响范围、关键检索条件、确认过的证据、最终原因和修复动作。重复出现的问题可以整理成查询模板或排查清单,方便团队复用,也便于新同事沿着相同线索复核。
阿里云服务器日志分析不需要一开始就采集所有数据。先统一时间和字段,确保日志能稳定采集、检索,再围绕具体故障缩小范围,并用指标和变更信息交叉验证,通常更容易找到可执行的处理方向。