环境设置

设置主机名

通过以下命令可以设置主机名

hostnamectl set-hostname master
// -+---
hostnamectl set-hostname 主机名

配置hosts

在文件中配置主机IP和主机名

关闭防火墙

集群机器都要关掉防火墙
注意：每个节点都需要配置

systemctl stop firewalld
systemctl disable firewalld
systemctl status firewalld

SSH免密

对每个机器做免密设置

ssh-keygen -t rsa

RSA 生成好后 .ssh/ 目录下会生成 id_rsa 和 id_rsa.pub 两个文件，可通过命令 ssh-copy-id 将公钥发送给其他节点
每个机器都要配置

ssh-copy-id -i .ssh/id_rsa.pub 用户名@主机

# 例
ssh-copy-id -i .ssh/id_rsa.pub hadoop@slave1

JDK安装

将上传的文件进行解压

解压

tar -zxvf 压缩包位置 -C 解压位置

tar -zxvf /opt/module/jdk-8u212-linux-x64.tar.gz -C ./

配置系统变量

编辑系统环境

vim /etc/profile

生效系统变量

source /etc/profile

查看是否生效

java -version

Hadoop 安装

压缩包上传

上传Hadoop 3.1.3 安装包到主机上

解压压缩包到当前目录

压缩包解压

tar -zxvf /opt/module/hadoop-3.1.3.tar.gz -C ./

配置系统变量

source /etc/profile

保存生效

source /etc/profile

查看是否生效

hadoop version

配置系统文件

hadoop-env.sh

在 hadoop-env.sh 中找到 export JAVA_HOME 去除注释并将JDK地址写到后面

core-site.xml

<configuration>
        <property>
                <name>fs.defaultFS</name>
                <value>hdfs://master:8020</value>
        </property>
        <property>
                <name>hadoop.tmp.dir</name>
                <value>/opt/module/hadoop-3.1.3/data/dfs</value>
        </property>
</configuration>

hdfs-site.xml

<configuration>
        <property>
                <name>dfs.namenode.name.dir</name>
                <value>/opt/module/hadoop-3.1.3/data/name</value>
        </property>
        <property>
                <name>dfs.datanode.data.dir</name>
                <value>/opt/module/hadoop-3.1.3/data/data</value>
        </property>
        <property>
                <name>dfs.replication</name>
                <value>3</value>
        </property>
</configuration>

yarn-site.xml

<configuration>
        <property>
                <name>yarn.nodemanager.aux.serivces</name>
                <value>mapreduce_shuffle</value>
        </property>
</configuration>

mapred-site.xml

<configuration>
        <property>
                <name>mapreduce.framework.name</name>
                <value>yarn</value>
        </property>
</configuration>

worker

写哪个主机，这个主机就会启动DataNode

master
slave1
slave2

下发文件

下发在master 上配置好的文件

# 下发配置环境文件
scp -r /etc/profile root@slave1:/etc/
scp -r /etc/profile root@slave2:/etc/

# 下发jdk
scp -r /opt/module/jdk1.8.0_212/ root@slave1:/opt/module/
scp -r /opt/module/jdk1.8.0_212/ root@slave2:/opt/module/

# 下发hadoop
scp -r /opt/module/hadoop-3.1.3/ root@slave1:/opt/module/
scp -r /opt/module/hadoop-3.1.3/ root@slave2:/opt/module/

子节点生效配置文件

source /etc/profile

格式化namenode

hdfs namenode -format

开启服务

start-all.sh

如果出现了以下报错

在profile中配置,并重新下发到子节点

master节点

slave1\slave2节点

查看web ui

主机名:8088

主机名:9870