Windows 10 上基于 Linux 环境的 Hadoop 集群搭建

软件版本

• VMware: 使用 VMware Workstation Player 版本
• CentOS 7: 可以从华为云快速下载
• JDK: OpenJDK 15.0.2 版本
• Hadoop: Hadoop 3.3.0 版本
• MobaXterm: 终端工具，方便 SSH 访问虚拟机

安装 VMware

1. 安装虚拟机
   • 选择典型安装，按照指示操作，提前下载好 CentOS 镜像。
2. 配置网络
   • 配置虚拟网络，设置 NAT 模式，确保子网和网关与宿主机一致。

IP 地址与主机名映射

1. 配置 IP 地址
   • 配置静态 IP 地址，避免地址变化。
2. 配置主机名
   • 编辑 /etc/hosts 文件，添加 IP 地址与主机名映射。

关闭防火墙

1. 停止防火墙 bash firewall-cmd --state systemctl stop firewalld.service systemctl disable firewalld.service

SSH 免密登录

1. 生成密钥
   • 在 NameNode 节点生成 SSH 密钥，并分发到所有节点。
2. 验证连接
   • 验证免密登录是否成功。

安装 JDK

1. 解压 JDK
   • 将压缩包解压到 /usr/local/ 目录下。
2. 设置环境变量
   • 编辑 /etc/profile 文件，设置 JAVA_HOME 和 PATH 变量。

安装 Hadoop

1. 解压 Hadoop
   • 解压 Hadoop 到 /usr/local/software/ 目录下。
2. 设置环境变量
   • 编辑 /etc/profile 文件，设置 HADOOP_HOME 和 PATH 变量。

配置 Hadoop

1. 配置 Hadoop 环境变量
   • 编辑 hadoop-env.sh 文件，设置 JAVA_HOME。
2. 配置核心配置文件
   • 编辑 core-site.xml 文件，配置默认文件系统和临时目录。
3. 配置 HDFS 配置文件
   • 编辑 hdfs-site.xml 文件，配置 NameNode 和 DataNode 存储路径及副本数量。
4. 配置 MapReduce 配置文件
   • 编辑 mapred-site.xml 文件，配置 MapReduce 运行框架。
5. 配置 YARN 配置文件
   • 编辑 yarn-site.xml 文件，配置 ResourceManager 和 NodeManager 参数。
6. 配置工作节点列表
   • 编辑 workers 文件，指定工作节点。

启动 Hadoop

1. 格式化 NameNode bash hdfs namenode -format
2. 修改启动脚本
   • 在 start-dfs.sh 和 start-yarn.sh 脚本末尾添加相应的用户配置。
3. 启动集群 bash start-all.sh

访问 Hadoop 集群信息

1. 查看集群状态
   • 通过 Web 界面查看集群信息。

测试验证

1. 上传测试文件 bash hadoop fs -mkdir /input hadoop fs -put /home/lulu/test.txt /input
2. 运行示例程序
   • 执行 WordCount 示例程序，验证 Hadoop 集群功能。

通过以上步骤，您可以在 Windows 10 上成功搭建基于 Linux 的 Hadoop 集群，并进行相关测试验证。