阿里云搭建 Hadoop 集群,除了安装软件,还要把私网通信、磁盘目录、节点解析和服务启动顺序理顺。下面以 3 台 ECS 为例:1 台主节点运行 NameNode、ResourceManager,2 台工作节点运行 DataNode、NodeManager。这个规模适合学习和小型功能验证;若用于生产,还要另外规划高可用、监控、备份和权限管理。
一、规划节点与资源
先确定节点名称、角色和私网地址,后续配置文件都按这份清单填写,避免同一台机器在不同文件中出现不同名称。
- 主节点:hadoop-master,私网地址 10.0.1.10。
- 工作节点:hadoop-worker1 和 hadoop-worker2,私网地址分别为 10.0.1.11、10.0.1.12。
- 网络:3 台 ECS 放在同一 VPC 和交换机;初次部署时使用同一可用区,便于排查网络问题。
- 系统与磁盘:统一 Linux 发行版和软件版本,数据盘挂载到固定目录,例如 /data。
小型测试环境可以让主节点同时承担工作节点角色,但本文按主节点与工作节点分开配置。创建资源前,先核对 Hadoop 与 Java 的版本兼容关系,并统一各节点的系统时间、主机名、软件目录和配置文件。
二、创建 ECS 并配置网络
在阿里云控制台创建 3 台 ECS,选择相同镜像、规格和 VPC。测试环境可从满足内存要求的通用规格起步;如果要运行更大的作业,则需根据数据量和并发任务评估 CPU、内存和磁盘吞吐能力。规格不必一开始就盲目选大,先按测试负载验证,再根据实际使用情况调整。
节点之间应通过私网地址通信,不要把公网 IP 当作集群内部连接方式。安全组遵循最小开放原则:SSH 只允许管理人员的固定公网地址访问;Hadoop 节点所需端口只对集群私网网段开放。管理端口不要直接暴露给整个互联网,具体端口以所用 Hadoop 版本和配置为准。
三、设置主机名与节点解析
分别设置 ECS 主机名,并确保每台机器都能用主机名访问其他节点。学习环境可以在所有节点的 /etc/hosts 中写入相同记录:
10.0.1.10 hadoop-master
10.0.1.11 hadoop-worker1
10.0.1.12 hadoop-worker2
配置完成后,用 ping 或 SSH 测试私网连通性。若使用云解析或内部 DNS,也可以通过 DNS 统一管理;需要确认解析结果稳定,并与 Hadoop 配置中的主机名一致。名称解析不一致时,服务可能启动失败,或出现节点注册到错误地址的情况。
四、安装 Java 与 Hadoop
在每台 ECS 安装兼容版本的 JDK,执行 java -version 检查版本。随后把相同版本的 Hadoop 安装到统一目录,例如 /opt/hadoop,配置 HADOOP_HOME,并将 Hadoop 的 bin 和 sbin 目录加入 PATH。各节点执行 hadoop version,确认软件版本一致。
建议创建专用运行账户,例如 hadoop,由该账户启动集群进程。数据目录和日志目录也要提前创建,并授予运行账户所需权限。长期使用 root 启动服务会增加误操作和权限管理风险,测试阶段也不建议省略这一步。
五、配置 SSH 与 Hadoop 文件
在主节点以运行账户生成 SSH 密钥,并将公钥分发到工作节点。首次连接时检查目标主机指纹,再测试无密码登录。若 SSH 不通,先确认私网连通、安全组规则和账户权限;密钥文件应妥善保管,不要通过公开渠道传递。
所有节点需要使用一致的 Hadoop 环境变量和配置文件。core-site.xml 设置默认文件系统地址,例如 hdfs://hadoop-master:9000;hdfs-site.xml 指定 NameNode 元数据目录和 DataNode 数据目录,例如 /data/hadoop/name、/data/hadoop/data。目录需提前创建,并确认运行账户有读写权限。
在 mapred-site.xml 中指定 MapReduce 使用 YARN;在 yarn-site.xml 中指定 ResourceManager 主机名为 hadoop-master。workers 文件列出 hadoop-worker1 和 hadoop-worker2。配置端口或目录时,应查阅对应 Hadoop 版本的文档,不要直接照搬其他版本的旧参数。
六、初始化并启动集群
- 启动前检查所有节点的主机名解析、SSH 登录、磁盘挂载和目录权限,先处理基础问题再启动服务。
- 仅在首次部署时,由运行账户在主节点执行 HDFS 格式化。该操作会初始化 NameNode 元数据;已有数据的集群不要随意重复格式化。
- 启动 HDFS 和 YARN 服务,再检查各节点进程及服务日志,确认 DataNode、NodeManager 等进程已正常运行。
- 通过 Web 管理页面查看节点状态。访问页面时使用受控的管理网络或 SSH 隧道,不要为了方便将管理页面开放到公网。
启动失败时,先看日志,再核对配置文件是否同步、主机名能否解析、数据目录是否可写,以及安全组和系统防火墙是否拦截了私网通信。反复重启通常不能解决配置错误,还可能让排查过程更复杂。
七、运行测试任务并安排维护
可以用三节点日志分析实验检查集群链路:先在 HDFS 创建目标目录,再用 put 命令上传测试文本;随后运行 Hadoop 自带的 WordCount 示例统计词频,并把结果写入一个新的 HDFS 目录。最后用 ls 和 cat 查看输出。任务完成,说明 HDFS 读写和 YARN 调度的基本流程已打通。
如果任务失败,先确认输入文件存在、输出目录尚未创建,并检查磁盘空间;再查看 ResourceManager 和 NodeManager 日志。实际使用中还应制定数据备份与恢复方案,关注磁盘使用率、节点存活状态和任务失败情况,并限制普通用户及服务账户的访问权限。
这套三节点配置适合入门和功能测试,不等同于生产级部署。数据规模扩大或业务重要性提高后,需要继续评估高可用、容量扩展、安全审计和故障恢复方案。