日志、订单和库存堆进数仓之后,夜里最先卡住的是集群。机器要自己装,组件版本对不齐,批处理到早上还没跑完,白天同一批机器又空着。阿里云Emr解决的是这层底座怎么养:开源计算引擎按需创建集群,团队把时间放回数据和任务,少耗在装机和排障。

阿里云Emr实际交付什么
阿里云Emr(E-MapReduce)是阿里云上的大数据处理平台。Hadoop、Spark、Hive、Flink,以及Presto、StarRocks,做成可选软件栈。集群类型和节点规格自己定,部署和基础监控交给平台。数据可以放在集群磁盘,也可以直接读写对象存储OSS,计算和存储拆开。验证环境常常几十分钟拉起,试完释放;生产环境的权限、元数据,还有和消息队列的衔接,要自己接上。
自建机房也能把Spark跑起来。换过来之后,装机和对版本会少一块;权限、元数据、消息队列和失败重跑,还是要有人管。这层没人接,集群拉得再快,夜里照样得盯着重跑。
批处理、流计算、即席查询分开跑
离线数仓要守住完成窗口,秒级延迟不在这条链路的要求里。隔日销售、库存汇总,用Hive或SparkSQL即可。订单和日志若要做库存预警、特征计算,用Flink消费,延迟放在分钟级,资源单独留。分析师查数走分析引擎,别把即席SQL打进批处理集群。样本拼接多是吃内存的大关联,高峰就几小时,空闲很长,适合弹性节点。
混部可以做。夜间大批次把CPU打满,白天查询超时会跟着来。中小团队按批处理、流计算、即席查询拆开,比守一个超级集群稳。
夜间汇总从4小时到40分钟
大约200家门店的区域零售,每天订单、库存流水和会员日志约800GB。原先20台物理机跑Hadoop,两名运维兼管磁盘故障和失败重跑。平日利用率大约三成,大促要加机器,采购周期对不上档期。他们没有整库一次性切换,先动夜间汇总,磁盘故障和失败重跑都压在这条上。
- 明细先进OSS,按日期和门店分区。Spark在阿里云Emr上读OSS,写出销售与库存快照。主节点常驻,计算节点凌晨拉起,早上释放。原来将近4小时,迁完大约40分钟。时间掉下来,主要是分区裁剪和小文件合并:无关日期、无关门店不再全表扫,任务启动也不被碎文件拖住。分区和文件不改,只把平台换成可伸缩的,这4小时掉不了这么多。
- 库存预警拆到独立Flink集群,消费订单消息,延迟保持分钟级。它不和夜间批次抢CPU,也不按离线作业的日历缩容。
- 报表停止直接扫明细。分析师查前一天已经固化的汇总表。临时探索限制分区,并设超时。一条没写分区的SQL,可以把队列拖到批次起不来。
六个月后内部复盘只看量级。计算相关开支,比起自建时期的电费、维保和闲置折旧合计,下降约四成。大促可以临时扩容,结束后缩回。运维从两人值守机房,变成一人看告警,另一人回到开发。存储占比不同的团队,省下的比例会差一截,这个四成不能照搬。
动工前先写清三件约束
- 任务有没有完成窗口。离线作业窗口明确,优先存算分离,计算节点按日历伸缩,跑完释放。流计算要稳定延迟,常驻资源得留够,不适合按小时频繁缩容。
- 热数据和温冷数据放哪。热数据、中间结果留在集群盘,落盘方便。温冷数据放OSS,按生命周期转低频。元数据可以交给数据湖构建,别绑在会释放的计算节点上。小文件不合并,列举和启动都会变慢,后面加机器补得很有限。迁之前先看OSS上的文件数,比先改规格有用。
- 夜里谁接告警。平台代管部署。SQL质量、分区规范、任务依赖仍归业务。没有值班表,故障只是从机房挪到控制台。
规格不要均摊。主节点保持轻载,核心节点看磁盘和中间数据量,任务节点扛峰值。大关联用内存型,清洗用计算型。拿一周真实作业压一遍再锁定,比用数据量除以经验系数一次拍板可靠。元数据和调度队列要单独看容量。节点加上了,队列堵住,作业照样起不来。
账单超在哪几笔
峰值机器全天开着,白天几乎空转。OSS小文件堆多了,任务启动变慢,接着加节点,存储上的问题被算成计算不够。批处理引擎拿去跑交互查询,或者用整集群去算本来可以抽样完成的小样本,队列被临时SQL占住,夜间窗口一起受影响。中间结果和日志不设过期,存储逐月上涨。计算费表面没变,总账在变。
控制办法对着这几笔写。伸缩规则跟作业日历走。单任务限制输出文件数,并定期合并。批处理、流计算、查询分开跑。OSS前缀配好转低频和删除。计算节点若用抢占式实例,只放可重跑的离线任务,库存预警和不能重跑的关键批次不要放上去。预算告警放在月初。等账单下来再解释,当月已经花完。
上线前对五件事
- 权限拆开:开发、调度、只读账号分开。生产桶不要长期使用个人密钥,人员变动后不好收口。
- 口径先对上:同一天的订单额和库存件数必须对得上,舍入规则写明。对不上就先停,不要带着“差不多”进生产。
- 重跑要覆盖写:按分区覆盖,保证幂等。失败重试再写一遍,同一天的销售额不能算两次。
- 监控要有认领人:任务超时、磁盘水位、OSS错误率写明谁值班。只有图、没有人,红灯没有用。
- 旧链路留退路:只读保留一周,新作业稳定后再下线。并行这周用同一天的数据对账,任务显示成功还不够。
专有网络、安全组和加密沿用公司现有规范,不必为大数据单开例外。敏感字段入湖前脱敏。开源组件的默认配置不等于安全,公网暴露和过度授权仍是最常见的入口。
每天只有几十GB,先别上重集群
每天只有几十GB,并发很低,团队里又没有数据开发,托管数仓或定时脚本往往更合适。阿里云Emr的优势是引擎可以自己配,也能接住已经在跑的Spark、Hive作业。没有这些存量作业,峰值也不明显,重集群多出来的是组件、队列、权限和账单,都要有人看得懂。
作业已经稳定,又被机器闲置和扩容周期卡住,就拿一条夜间批次做试点,相同口径并行跑两周。只看三件:时延有没有进窗口,费用是否低于现状,失败后一小时内有没有人能处理。三件都过,再扩到别的作业。有一件不过,先改分区、小文件和SQL。节点先别加。