大数据平台搭建：Hadoop安装与配置详细步骤

2020-08-13 08:54:28 2

+关注

Hadoop 安装与配置

3.1 虚拟机环境准备

1）准备三台虚拟机，虚拟机配置要求如下：

内存：每台虚拟机需要4GB内存。
硬盘：每台虚拟机需要50GB硬盘空间。
安装必要的环境： bash sudo yum install -y epel-release sudo yum install -y psmisc nc net-tools rsync vim lrzsz ntp libzstd openssl-static tree iotop git
修改克隆虚拟机的静态IP： bash sudo vim /etc/sysconfig/network-scripts/ifcfg-ens33 修改内容如下： plaintext DEVICE=ens33 TYPE=Ethernet ONBOOT=yes BOOTPROTO=static NAME="ens33" IPADDR=192.168.1.101 PREFIX=24 GATEWAY=192.168.1.2 DNS1=192.168.1.2
检查Linux虚拟机的虚拟网络编辑器：打开“编辑 -> 虚拟网络编辑器 -> VMnet8”。
检查Windows系统的VMware Network Adapter VMnet8的IP地址。
确保Linux文件中的IP地址、虚拟网络编辑器地址和Windows系统的VM8网络IP地址一致。

2）修改主机名

修改主机名： bash sudo hostnamectl --static set-hostname hadoop101
配置主机名映射： bash sudo vim /etc/hosts 添加以下内容： plaintext 192.168.1.100 hadoop100 192.168.1.101 hadoop101 192.168.1.102 hadoop102 192.168.1.103 hadoop103 192.168.1.104 hadoop104 192.168.1.105 hadoop105 192.168.1.106 hadoop106 192.168.1.107 hadoop107 192.168.1.108 hadoop108
修改Windows 7的主机映射文件（hosts文件）：
- 进入 C:WindowsSystem32driversetc 路径。
- 打开hosts文件并添加以下内容： plaintext 192.168.1.100 hadoop100 192.168.1.101 hadoop101 192.168.1.102 hadoop102 192.168.1.103 hadoop103 192.168.1.104 hadoop104 192.168.1.105 hadoop105 192.168.1.106 hadoop106 192.168.1.107 hadoop107 192.168.1.108 hadoop108
修改Windows 10的主机映射文件（hosts文件）：
- 进入 C:WindowsSystem32driversetc 路径。
- 将hosts文件复制到桌面。
- 打开桌面的hosts文件并添加以下内容： plaintext 192.168.1.100 hadoop100 192.168.1.101 hadoop101 192.168.1.102 hadoop102 192.168.1.103 hadoop103 192.168.1.104 hadoop104 192.168.1.105 hadoop105 192.168.1.106 hadoop106 192.168.1.107 hadoop107 192.168.1.108 hadoop108
- 将桌面的hosts文件覆盖到 C:WindowsSystem32driversetc 路径下的hosts文件。

3）关闭防火墙 bash sudo systemctl stop firewalld sudo systemctl disable firewalld

4）创建用户bigdata bash sudo useradd bigdata sudo passwd bigdata

5）重启虚拟机 bash reboot

6）赋予bigdata用户root权限 bash sudo visudo 在文件中添加： plaintext bigdata ALL=(ALL) ALL

7）在/opt目录下创建文件夹 bash sudo mkdir /opt/module sudo mkdir /opt/software sudo chown bigdata:bigdata /opt/module /opt/software

3.2 在102安装JDK

1）卸载现有JDK bash rpm -qa | grep -i java | xargs -n1 sudo rpm -e --nodeps

2）使用SecureCRT工具将JDK导入到/opt目录下的software文件夹中

3）通过SFTP模式传输JDK文件

4）在Linux系统下的/opt目录中查看软件包是否导入成功 bash ls /opt/software/

5）解压JDK到/opt/module目录下 bash tar -zxvf jdk-8u212-linux-x64.tar.gz -C /opt/module/

6）配置JDK环境变量 bash sudo vim /etc/profile.d/my_env.sh 添加以下内容： ```plaintext

JAVA_HOME

export JAVAHOME=/opt/module/jdk1.8.0212 export PATH=$PATH:$JAVA_HOME/bin ```

7）重启Xshell窗口，使环境变量生效

8）测试JDK是否安装成功 bash java -version

3.3 在102安装Hadoop

Hadoop下载地址：https://archive.apache.org/dist/hadoop/common/hadoop-3.1.3/

1）使用SecureCRT工具将hadoop-3.1.3.tar.gz导入到/opt目录下的software文件夹中

2）进入Hadoop安装包路径 bash cd /opt/software/

3）解压安装文件到/opt/module目录下 bash tar -zxvf hadoop-3.1.3.tar.gz -C /opt/module/

4）检查解压是否成功 bash ls /opt/module/

5）将Hadoop添加到环境变量 - 获取Hadoop安装路径： bash pwd 输出结果： plaintext /opt/module/hadoop-3.1.3

编辑 /etc/profile.d/my_env.sh 文件： bash sudo vim /etc/profile.d/my_env.sh 在文件末尾添加以下内容： ```plaintext

HADOOP_HOME

export HADOOPHOME=/opt/module/hadoop-3.1.3 export PATH=$PATH:$HADOOPHOME/bin export PATH=$PATH:$HADOOP_HOME/sbin ```
保存并退出： bash :wq
使修改后的文件生效： bash source /etc/profile

6）测试Hadoop是否安装成功 bash hadoop version

7）如果Hadoop命令不可用，重启虚拟机 bash sync sudo reboot

3.4 Hadoop目录结构

1）查看Hadoop目录结构 bash ll

输出结果： plaintext 总用量 52 drwxr-xr-x. 2 bigdata bigdata 4096 5月 22 2017 bin drwxr-xr-x. 3 bigdata bigdata 4096 5月 22 2017 etc drwxr-xr-x. 2 bigdata bigdata 4096 5月 22 2017 include drwxr-xr-x. 3 bigdata bigdata 4096 5月 22 2017 lib drwxr-xr-x. 2 bigdata bigdata 4096 5月 22 2017 libexec -rw-r--r--. 1 bigdata bigdata 15429 5月 22 2017 LICENSE.txt -rw-r--r--. 1 bigdata bigdata 101 5月 22 2017 NOTICE.txt -rw-r--r--. 1 bigdata bigdata 1366 5月 22 2017 README.txt drwxr-xr-x. 2 bigdata bigdata 4096 5月 22 2017 sbin drwxr-xr-x. 4 bigdata bigdata 4096 5月 22 2017 share

2）重要目录