前置环境部署
前置环境部署：
虚拟机VM16安装-CSDN博客
CentOS安装-CSDN博客
修改VM虚拟机网络-CSDN博客
Linux新环境静态IP配置与主机名-CSDN博客
Linux环境下SSH免密登录设置-CSDN博客
Linux环境下Hadoop3.5.0（最新版本）单机部署-CSDN博客
虚拟机克隆
①关闭要被克隆的虚拟机
②找到克隆选项
③欢迎页面点击下一步
④克隆虚拟机，克隆自虚拟机的当前状态后，点击下一步
⑤设置创建完整克隆
⑥设置克隆的虚拟机名称和存储位置
⑦等待正在克隆
⑧点击关闭，完成克隆
克隆后名字分别为node12和node13
修改各主机配置文件
node12服务器上修改
- 修改主机名为node12
切换到root
su root
vi /etc/hostname
内容修改成node12
- 修改IP
vi /etc/sysconfig/network-scripts/ifcfg-ens33
TYPE="Ethernet"
BOOTPROTO="static"
DEFROUTE="yes"
PEERDNS="yes"
PEERROUTES="yes"
IPV4_FAILURE_FATAL="no"
IPV6INIT="yes"
IPV6_AUTOCONF="yes"
IPV6_DEFROUTE="yes"
IPV6_PEERDNS="yes"
IPV6_PEERROUTES="yes"
IPV6_FAILURE_FATAL="no"
IPV6_ADDR_GEN_MODE="stable-privacy"
NAME="ens33"
UUID="92080b37-6045-47a2-872c-a832939226f4"
DEVICE="ens33"
ONBOOT="yes"
IPADDR=192.168.1.12
GATEWAY=192.168.1.2
NETMASK=255.255.255.0
DNS1=192.168.1.2
重启系统：
reboot
此处可以使用mobaxterm连接测试
node13服务器上修改
- 修改主机名为node13
切换到root
su root
vi /etc/hostname
内容修改成node13
修改IP
vi /etc/sysconfig/network-scripts/ifcfg-ens33
内容如下
TYPE="Ethernet"
BOOTPROTO="static"
DEFROUTE="yes"
PEERDNS="yes"
PEERROUTES="yes"
IPV4_FAILURE_FATAL="no"
IPV6INIT="yes"
IPV6_AUTOCONF="yes"
IPV6_DEFROUTE="yes"
IPV6_PEERDNS="yes"
IPV6_PEERROUTES="yes"
IPV6_FAILURE_FATAL="no"
IPV6_ADDR_GEN_MODE="stable-privacy"
NAME="ens33"
UUID="92080b37-6045-47a2-872c-a832939226f4"
DEVICE="ens33"
ONBOOT="yes"
IPADDR=192.168.1.13
GATEWAY=192.168.1.2
NETMASK=255.255.255.0
DNS1=192.168.1.2
重启系统：
reboot
此处可以使用mobaxterm连接测试
集群SSH免密登录配置
.ssh文件夹下（~/.ssh）的文件功能解释
|
known_hosts |
记录ssh访问过计算机的公钥(public key) |
|
id_rsa |
生成的私钥 |
|
id_rsa.pub |
生成的公钥 |
|
authorized_keys |
存放授权过的无密登录服务器公钥 |
ssh-copy-id node11
ssh-copy-id node12
ssh-copy-id node13
三个服务器上都用root账户执行上述脚本
修改配置文件执行集群间拷贝
修改node11上面的/usr/local/soft/hadoop-3.4.1/etc/hadoop/workers
vi /usr/local/soft/hadoop-3.5.0/etc/hadoop/workers
添加node12和node13
集群拷贝
scp /usr/local/soft/hadoop-3.5.0/etc/hadoop/workers root@node12:/usr/local/soft/hadoop-3.5.0/etc/hadoop/
scp /usr/local/soft/hadoop-3.5.0/etc/hadoop/workers root@node13:/usr/local/soft/hadoop-3.5.0/etc/hadoop/
拷贝完成，检查另两台机器是否执行拷贝成功
如果已有，需要重新拷贝，则执行文件夹拷贝
scp -r /usr/local/soft/hadoop-3.5.0 root@node12:/usr/local/soft
scp -r /usr/local/soft/hadoop-3.5.0 root@node13:/usr/local/soft
格式化系统
将三个服务器上的/data全部删除（如果单机启动过必须执行此步骤，如果单机没有格式化及启动过，此步骤省略），各服务器上执行如下命令：
rm -fr /data
node11服务器上执行：
hdfs namenode -format
集群启动
执行
start-all.sh
停止：
stop-all.sh
集群查看
jps
HDFS Web页面
http://node11:9870/
YARN Web页面
http://node11:8088/
创建test文件夹:
hadoop fs -mkdir /test
附常见问题：FAQ
1、如果集群正常启动，发现网页中没有子节点：
先关闭集群：
./sbin/stop-all.sh
查找主节点version中的集群ID,路径/data/hadoop/hdfs/name/current/
在两个从节点中找到从节点的version,路径：/data/hdfs/data/current/
clusterID从节点需要和主节点保持一致，如果从节点没有current文件夹，再自己检查配置和日志文件里面错误信息
2、启动都成功，网页中没有从节点
检查防火墙是否关闭
3、格式化失败，报权限问题
检查hadoop文件夹所有者是否当前用户，如果不是，执行命令
chown -R root /usr/local/soft/hadoop-3.4.1
4、如果某个端口号不起作用，命令查看端口启动情况
netstat -tlpn
5、整个文件夹拷贝
scp -r /usr/local/soft/hadoop-3.4.1 root@hadoop100:/usr/local/soft/hadoop-3.4.1
scp -r /usr/local/soft/hadoop-3.4.1 root@hadoop100:/usr/local/soft/hadoop-3.4.1
