在阿里云上搭建 Hadoop,工作不止是把软件装到几台 ECS 上。节点之间能不能通过私网通信、主机名是否解析正确、HDFS 数据放在哪块磁盘、安全组有没有误拦截,都会影响服务启动和任务运行。下面以三台 Linux ECS 为例,说明部署前要准备的资源、配置和验证步骤。
一、先确定集群规模和用途
Hadoop 常用组件包括 HDFS 和 YARN:前者负责分布式存储,后者负责资源管理与任务调度。刚接触 Hadoop,可以先用伪分布式环境熟悉配置;要验证多节点协作,再搭建本文所说的小型集群。若准备承载生产任务,还需要另行评估高可用、数据备份、监控和权限管理,不能直接把测试集群当作生产方案。
示例中使用三台 ECS:一台运行 NameNode 和 ResourceManager,另外两台运行 DataNode 和 NodeManager。测试时可选相同规格的实例,例如 2 至 4 核 CPU、8 GB 内存;数据量和任务并发增加后,再按实际负载调整。部署前先核对操作系统、Java 与 Hadoop 版本的兼容性,并让所有节点使用一致的版本,减少因环境不同造成的排错成本。
二、准备阿里云资源和网络
- 规划 VPC 和交换机:三台 ECS 放在同一 VPC 内,并确保所在交换机之间可以互通。提前安排稳定的私网地址,集群节点之间优先走私网,不要把内部通信流量绕到公网。
- 收紧安全组规则:只开放业务和管理确实需要的端口,来源限制为集群私网网段或指定管理地址。不同 Hadoop 版本和配置使用的 RPC 服务、管理界面端口可能不同,按对应版本文档核对后再设置。不要为了省事直接开放全部端口。
- 安排系统盘和数据盘:系统盘用于操作系统及程序,数据盘存放 HDFS 数据。挂载数据盘后,检查文件系统和挂载点,并确认重启后仍会自动挂载。生产环境还要根据数据量和访问需求评估云盘容量与吞吐。
- 确定登录方式:通过堡垒机、VPN 或受限的管理 IP 运维,优先使用密钥认证。避免多台 ECS 共用弱口令,也不要让管理入口对所有公网地址开放。
三、处理主机名、时间和 SSH
为节点设置唯一且稳定的主机名,例如 master、worker1 和 worker2,并检查每台机器能否解析其他节点的名称。三台机器的测试环境可以使用内容一致的 hosts 文件;节点增多后,宜换成统一维护的名称解析方案。主机名写错或解析不一致时,服务可能已经启动,却无法正常连接其他节点。
在管理节点生成 SSH 密钥,把公钥部署到需要远程启动服务的节点,再逐台测试免密登录。还要确认系统时间一致,检查系统防火墙和阿里云安全组是否允许集群内部所需通信。建议先完成这些检查,再安装 Hadoop;否则服务启动失败时,软件配置和网络问题容易混在一起。
四、安装和配置 Hadoop
先在所有节点安装兼容的 JDK,并设置 JAVA_HOME。然后下载选定版本的 Hadoop 压缩包,核对文件来源与完整性,再解压到统一路径。可以创建专用运行用户,避免长期用 root 启动服务。配置环境变量后,在每台机器上分别检查 Java 和 Hadoop 命令是否可用。
Hadoop 的配置文件要按节点保持一致。core-site.xml 用于指定默认文件系统,例如 NameNode 的访问地址;hdfs-site.xml 用于设置 NameNode 元数据目录、DataNode 数据目录和副本数;mapred-site.xml 指定 MapReduce 使用 YARN;yarn-site.xml 则配置 ResourceManager 地址和 NodeManager 运行参数。属性名称和可用选项可能随版本变化,填写前应查阅所选版本的文档。
将节点列表写入 workers 配置文件,并检查各节点上的配置是否一致。首次初始化 HDFS 前,先确认 NameNode 元数据目录路径正确且为空,再执行格式化。不要把格式化当作日常修复操作:它通常只在首次初始化时执行,误操作可能破坏已有元数据。启动 HDFS 和 YARN 后,通过进程列表、服务日志和管理页面检查状态;如果服务退出,优先查看对应日志,而不是反复重启。
五、用日志统计任务检查集群
可以用一份访问日志验证基本链路。比如电商团队想统计某日各页面的访问次数,先将样例文本上传到 HDFS,创建输入目录,再用文件系统命令确认文件确实存在。随后运行 Hadoop 自带的 WordCount 示例程序,把该目录作为输入,并将结果写入一个尚不存在的输出目录。
任务结束后读取输出文件,抽查统计结果,同时查看 YARN 的应用状态。这样能确认作业确实经过调度执行,而不只是本地程序运行成功。小文件很少时,任务可能看不出明显的分布式计算特征,可以增加测试数据,或观察多个节点的资源使用情况。这个例子主要用于检查文件上传、任务提交、资源调度和结果读取是否连通。
六、常见故障与上线前检查
- 节点无法互访:依次检查私网地址、路由、安全组、系统防火墙和主机名解析,并确认配置中填写的地址确实可达。
- 服务启动后退出:查看对应服务日志,检查 Java 路径、目录权限、磁盘挂载状态和配置文件格式。
- HDFS 空间不足:确认 HDFS 数据目录位于数据盘,而不是容量较小的系统盘;再检查挂载是否正常以及磁盘剩余容量。
- 任务提交失败:查看 YARN 应用日志和队列状态,核对 ResourceManager 地址、内存参数及 MapReduce 配置。
- 管理端口暴露到公网:关闭不需要的公网访问,不要将管理界面开放给所有来源;日常还应管理账号权限、日志审计和系统补丁。
小型 Hadoop 集群适合学习和功能验证。准备上线时,应补上高可用设计、备份与恢复演练、容量监控和权限控制,并根据业务负载重新规划 ECS 规格及存储。先逐项确认节点互通、磁盘挂载和服务状态,再运行样例作业,通常比安装完成后一次性排查所有问题更省力。