配置阿里云日志服务器前,先确定日志要怎么管理:是集中采集、检索和分析,还是在云服务器上自建一套日志平台。前者通常使用阿里云日志服务 SLS;后者可能会用到 Elasticsearch、Logstash、Kibana 等组件。两种方案的维护方式和适用场景不同。多数需要快速接入、统一查询和告警的业务,用 SLS 更省去日常维护;有特殊的数据处理或部署要求时,再评估自建方案。
本文以 ECS 上运行 Web 服务、将访问日志和应用日志集中采集到 SLS 为例,梳理阿里云日志服务器配置的主要环节。控制台页面和产品选项可能调整,实际操作时请以当前控制台说明为准。
一、先确定架构和配置目标
常见的日志链路是:业务服务器生成日志,Logtail 负责采集并发送,SLS 中的 Project 和 Logstore 接收、存储日志,用户再通过查询、仪表盘或告警查看数据。ECS 与 SLS 位于同一云环境时,可以优先使用云产品支持的接入方式,减少自行维护采集服务的工作。
规划时要先弄清四件事:日志来自哪些服务器和文件、每天大约产生多少数据、需要保留多久,以及哪些团队或系统可以查询。比如,应用日志和审计日志的保留要求可能不同,不能只确认“日志能进来”就结束。存储量、写入量、查询频率和保留周期都会影响费用与资源安排。
二、创建日志项目与存储库
- 选择地域。尽量让 SLS 与业务服务器位于同一地域,或确保网络可达。跨地域采集会增加链路配置和故障排查的复杂度,也可能产生额外费用。
- 创建 Project。Project 用来划分日志管理边界,可以按业务系统、环境或团队规划。生产和测试环境分开管理,更便于控制权限,也能避免数据混在一起。
- 创建 Logstore。Logstore 用于存放一类日志。可以按用途拆分为 access-log、app-log、audit-log 等,方便分别设置索引、保留周期和访问权限。不要在没有规划的情况下把所有日志都放进同一个存储库。
- 确定保留和索引策略。先列出需要查询的字段,例如时间、日志级别、服务名、请求路径和追踪 ID。并非每个字段都需要建立索引;索引设置要结合实际查询需求和费用考虑。
三、配置服务器采集
在目标 ECS 上安装并配置 Logtail,或按当前产品提供的接入方式完成采集。配置时核对服务器地域、采集范围和运行权限。不要为了省事开放不必要的公网访问,优先采用受支持的内网链路或安全接入方式,并按产品文档配置网络和权限。
接着创建机器组,将需要采集的 ECS 纳入管理,再为 Logstore 添加采集配置。以 Linux Web 服务为例,采集路径应指向应用实际写入访问日志和业务日志的目录。路径要与服务器上的文件一致,采集进程也必须有读取权限。若日志按日期切分或定期轮转,还要检查文件命名规则和生成方式,避免新文件没有匹配到采集配置。
多行日志也需要单独检查。普通访问日志通常一行一条,按行采集即可;Java 异常堆栈可能跨越多行,需要设置合适的合并规则。规则配置不当,一条异常可能被拆成多条记录,也可能把几条日志拼在一起。上线前用真实日志样例验证,不能只看控制台显示配置成功。
四、规范字段与查询方式
日志尽量使用结构化格式,例如 JSON,并统一时间字段、日志级别、服务名称、主机标识和 trace_id。字段名称和格式一致,跨服务器查询和故障定位会更方便。如果现有程序只能输出文本,可以先完成原样采集,再逐步调整日志格式。
配置完成后,先确认控制台已经收到新数据,再用时间范围和关键字查询。日常排查尽量缩小时间范围,并优先使用已规划的字段过滤,避免长期、大范围扫描数据。常用查询可以保存为分析语句或仪表盘;不过,不同格式的日志字段名称可能不同,查询条件要以实际采集结果为准。
五、案例:电商网站接入访问日志
某电商团队有 3 台 ECS 运行 Web 服务,访问日志分别保存在各台机器上。高峰期出现请求变慢时,工程师需要逐台登录服务器查文件,定位过程比较耗时。团队决定把访问日志和应用错误日志分别写入两个 Logstore,并为生产环境单独建立 Project。
接入时,团队先在一台测试 ECS 上安装采集组件,确认采集路径、读取权限和日志轮转规则,再将配置扩展到其余服务器。访问日志统一记录服务名、状态码、请求耗时和 trace_id;应用错误日志保留异常堆栈,并配置多行合并。验证时,团队分别检查正常请求、错误请求,以及日志切分后新生成的文件是否进入 SLS。
接入完成后,工程师可以按时间筛选高耗时请求,再结合状态码和 trace_id 查找对应的应用日志。团队也为关键错误设置告警,并按业务要求设定保留周期。这个做法可以参考流程,但参数要按自己的日志格式和业务要求确认:先统一字段,再验证采集链路,最后检查查询和告警是否可用。
六、权限、费用与日常维护
- 按最小权限授权:采集端只保留完成采集所需的权限,分析人员按岗位获得查询权限。不要把长期有效的高权限密钥写进脚本或日志文件。
- 控制数据量:检查调试日志是否长期开启,并筛除没有业务价值的内容。日志量持续增加时,重新评估采集范围、索引设置和保留周期。
- 保护敏感信息:避免记录密码、访问令牌和个人身份信息等敏感数据。确实需要记录时,先评估合规要求并采取脱敏措施。
- 定期检查链路:关注采集组件状态、数据延迟、日志是否缺失以及告警是否按预期触发。配置变更后,重新验证新增文件、服务器重启和日志轮转等场景。
七、常见问题排查
控制台没有日志:检查服务器是否加入正确的机器组、采集路径是否匹配、文件是否实际生成、采集进程是否有读取权限,以及网络和授权配置是否正常。还要确认查询时间范围覆盖了日志产生的时间。
日志延迟或不完整:检查机器负载、文件轮转规则和采集端状态。单机日志量突然增加时,也要留意链路是否拥塞或受到限流。单纯延长保留时间,无法解决采集延迟或缺失。
查询结果不符合预期:先查看原始日志样例,核对字段解析、时间格式和多行合并规则。结构化解析规则调整后,用新旧样例分别验证,避免历史数据和新数据的字段表现不一致。
结语
阿里云日志服务器配置涉及日志来源、存储结构、字段规范、权限和日常维护。建议先选少量服务器试点,确认采集、查询、告警和费用符合预期,再逐步推广。这样能减少首次接入时的返工,也方便后续用日志定位问题、观察业务运行情况。