精选优惠 · 官方会场

轻量应用服务器

新用户专享

2核2G · 200M峰值带宽 · 40G系统盘

限阿里云新用户
68元/年限阿里云新用户
立即选购

云服务器 ECS

新老同享

经济型e · 2核2G · 3M固定带宽 · 40G盘

同主体限1台 · 不可叠券
99元/年同主体限1台 · 不可叠券
立即选购

云数据库 RDS

数据库精选

托管数据库 · 弹性扩容 · 自动备份

按地域与配置选择
查看活动价按地域与配置选择
查看优惠
更多阿里云活动收起阿里云活动
11月1日—30日企业至高减 1728 元

双11满减礼包

个人至高减360元;需对应实名认证,满减门槛及适用产品以官方规则为准。

前往官方会场
AI 专场让 AI 应用轻松上云

AI 产品特惠

浏览 Token Plan、Qoder 与 AI 应用等官方活动,按实际使用需求选择。

前往官方会场
搭配更省心服务器 + 数据库

云产品组合购

查看 ECS、RDS 等组合活动,按业务规模和实际预算搭配。

前往官方会场
官方活动合集热门云产品,一站选

云小站更多特惠

继续查看服务器、数据库与存储等优惠,选择适合自己的配置。

前往官方会场

阿里云搭建hadoop集群:三节点部署的7项配置

阿里云搭建 Hadoop 集群,除了安装软件,还要把私网通信、磁盘目录、节点解析和服务启动顺序理顺。下面以 3 台 ECS 为例:1 台主节点运行 NameNode、ResourceManager,2 台工作节点运行 DataNode、NodeManager。这个规模适合学习和小型功能验证;若用于生产,还要另外规划高可用、监控、备份和权限管理。

一、规划节点与资源

先确定节点名称、角色和私网地址,后续配置文件都按这份清单填写,避免同一台机器在不同文件中出现不同名称。

  • 主节点:hadoop-master,私网地址 10.0.1.10。
  • 工作节点:hadoop-worker1 和 hadoop-worker2,私网地址分别为 10.0.1.11、10.0.1.12。
  • 网络:3 台 ECS 放在同一 VPC 和交换机;初次部署时使用同一可用区,便于排查网络问题。
  • 系统与磁盘:统一 Linux 发行版和软件版本,数据盘挂载到固定目录,例如 /data。

小型测试环境可以让主节点同时承担工作节点角色,但本文按主节点与工作节点分开配置。创建资源前,先核对 Hadoop 与 Java 的版本兼容关系,并统一各节点的系统时间、主机名、软件目录和配置文件。

二、创建 ECS 并配置网络

在阿里云控制台创建 3 台 ECS,选择相同镜像、规格和 VPC。测试环境可从满足内存要求的通用规格起步;如果要运行更大的作业,则需根据数据量和并发任务评估 CPU、内存和磁盘吞吐能力。规格不必一开始就盲目选大,先按测试负载验证,再根据实际使用情况调整。

节点之间应通过私网地址通信,不要把公网 IP 当作集群内部连接方式。安全组遵循最小开放原则:SSH 只允许管理人员的固定公网地址访问;Hadoop 节点所需端口只对集群私网网段开放。管理端口不要直接暴露给整个互联网,具体端口以所用 Hadoop 版本和配置为准。

三、设置主机名与节点解析

分别设置 ECS 主机名,并确保每台机器都能用主机名访问其他节点。学习环境可以在所有节点的 /etc/hosts 中写入相同记录:

10.0.1.10 hadoop-master
10.0.1.11 hadoop-worker1
10.0.1.12 hadoop-worker2

配置完成后,用 ping 或 SSH 测试私网连通性。若使用云解析或内部 DNS,也可以通过 DNS 统一管理;需要确认解析结果稳定,并与 Hadoop 配置中的主机名一致。名称解析不一致时,服务可能启动失败,或出现节点注册到错误地址的情况。

四、安装 Java 与 Hadoop

在每台 ECS 安装兼容版本的 JDK,执行 java -version 检查版本。随后把相同版本的 Hadoop 安装到统一目录,例如 /opt/hadoop,配置 HADOOP_HOME,并将 Hadoop 的 bin 和 sbin 目录加入 PATH。各节点执行 hadoop version,确认软件版本一致。

建议创建专用运行账户,例如 hadoop,由该账户启动集群进程。数据目录和日志目录也要提前创建,并授予运行账户所需权限。长期使用 root 启动服务会增加误操作和权限管理风险,测试阶段也不建议省略这一步。

五、配置 SSH 与 Hadoop 文件

在主节点以运行账户生成 SSH 密钥,并将公钥分发到工作节点。首次连接时检查目标主机指纹,再测试无密码登录。若 SSH 不通,先确认私网连通、安全组规则和账户权限;密钥文件应妥善保管,不要通过公开渠道传递。

所有节点需要使用一致的 Hadoop 环境变量和配置文件。core-site.xml 设置默认文件系统地址,例如 hdfs://hadoop-master:9000;hdfs-site.xml 指定 NameNode 元数据目录和 DataNode 数据目录,例如 /data/hadoop/name、/data/hadoop/data。目录需提前创建,并确认运行账户有读写权限。

在 mapred-site.xml 中指定 MapReduce 使用 YARN;在 yarn-site.xml 中指定 ResourceManager 主机名为 hadoop-master。workers 文件列出 hadoop-worker1 和 hadoop-worker2。配置端口或目录时,应查阅对应 Hadoop 版本的文档,不要直接照搬其他版本的旧参数。

六、初始化并启动集群

  1. 启动前检查所有节点的主机名解析、SSH 登录、磁盘挂载和目录权限,先处理基础问题再启动服务。
  2. 仅在首次部署时,由运行账户在主节点执行 HDFS 格式化。该操作会初始化 NameNode 元数据;已有数据的集群不要随意重复格式化。
  3. 启动 HDFS 和 YARN 服务,再检查各节点进程及服务日志,确认 DataNode、NodeManager 等进程已正常运行。
  4. 通过 Web 管理页面查看节点状态。访问页面时使用受控的管理网络或 SSH 隧道,不要为了方便将管理页面开放到公网。

启动失败时,先看日志,再核对配置文件是否同步、主机名能否解析、数据目录是否可写,以及安全组和系统防火墙是否拦截了私网通信。反复重启通常不能解决配置错误,还可能让排查过程更复杂。

七、运行测试任务并安排维护

可以用三节点日志分析实验检查集群链路:先在 HDFS 创建目标目录,再用 put 命令上传测试文本;随后运行 Hadoop 自带的 WordCount 示例统计词频,并把结果写入一个新的 HDFS 目录。最后用 ls 和 cat 查看输出。任务完成,说明 HDFS 读写和 YARN 调度的基本流程已打通。

如果任务失败,先确认输入文件存在、输出目录尚未创建,并检查磁盘空间;再查看 ResourceManager 和 NodeManager 日志。实际使用中还应制定数据备份与恢复方案,关注磁盘使用率、节点存活状态和任务失败情况,并限制普通用户及服务账户的访问权限。

这套三节点配置适合入门和功能测试,不等同于生产级部署。数据规模扩大或业务重要性提高后,需要继续评估高可用、容量扩展、安全审计和故障恢复方案。

赞 (0)
上一篇 2026年11月15日 上午4:04
下一篇 2026年11月15日 上午4:04

相关推荐

  • 阿里云政务上云落地,哪些环节最容易卡住

    政府系统上云这几年越来越常见。过去各地机房分散,系统各建一套,数据也难以互通,大家慢慢意识到信息化需要一个统一的底座。云计算弹性扩展、统一运维,前期投入也相对低,所以不少地方政府把它放在了优先位置。阿里云是国内较早进入政务市场的云服务商之一,它的一些做法,能让人看清政府上云具体是怎么回事。 政务云比公有云多了什么 政务云要在普通公有云的基础上补很多东西。政务…

    2026年11月1日
  • 阿里云向量数据库适合做哪些 RAG 和推荐检索?

    大模型应用做到一定阶段,很多团队都会碰到同一个问题:用户问的是意思,数据库里存的却是字段和关键词,传统检索两头对不上。文本、图片、商品描述这类内容,要靠语义去找,关键词和精确条件就不太够用了。向量数据库基本是绕不开的一环,阿里云向量数据库也是不少团队选型时会看的选项。 向量数据库到底在做什么 做法并不复杂。先用 embedding 模型把文本、图像或音频转成…

    2026年11月1日
  • 阿里云企业账号怎么开通认证?权限和费用要先设好

    很多中小团队在上云初期,习惯让负责人用个人账号开通阿里云。资源、账单和登录凭证都挂在一个人名下。业务小的时候问题不大,团队一扩大,离职交接、费用核算和安全审计就会接连出问题,到那时再整理阿里云企业账号,往往要花不少力气。 个人账号和企业账号差在哪 个人账号以自然人实名认证,适合个人开发者和小型试验项目。企业账号以企业主体认证,一般需要营业执照等资质材料,对公…

    2026年10月31日
  • 阿里云 raid 云盘和本地盘有什么区别,怎么选更合适

    提到“阿里云 RAID”,很多人会想到在服务器里把几块硬盘组为 RAID 0、RAID 1 或 RAID 5。但云上的磁盘不都等同于传统服务器里的物理硬盘:云盘由云平台提供块存储服务,本地盘则与实例所在的宿主机和实例规格相关。两者的使用方式、数据保护责任和故障影响范围都不一样。 使用云盘时,先了解云盘类型、性能和备份能力,通常比直接在操作系统里再做一层 RA…

    阿里云 2026年11月15日
  • 阿里云字体图标怎么用?从添加到项目引入的具体步骤

    做后台、官网或小程序时,页面上总少不了大量小图标。早期很多团队直接切 PNG 图,图片越来越多,尺寸对不齐,换个颜色又得找设计师重出一套。字体图标和矢量图标库就是为解决这类问题出现的。阿里云字体图标,即阿里巴巴矢量图标库(iconfont.cn),是国内用得最多的图标资源之一。这篇文章从实际使用的角度,讲清楚怎么选图、怎么引入、怎么落地。 什么是阿里云字体图…

    2026年11月1日
返回顶部