hadoop系列---【hadoop集群的搭建---(一)环境配置】

发布时间 2023-03-30 00:03:32作者: 少年攻城狮

Hadoop集群的搭建

一、集群环境配置(准备三台服务器)

1.设置hostname,/etc/hosts

#查看当前host名称
hostname 
#三台分别设置网络hostname,node01,node02,node03
vi /etc/sysconfig/network
NETWORKING=yes
HOSTNAME=node02

wq保存并退出

#修改hosts
vi /etc/hosts

192.168.1.200 node01
192.168.1.201 node02
192.168.1.202 node03

wq保存并退出,reboot重启

2.关闭防火墙(三台root用户执行)

service iptables stop   #关闭防火墙
chkconfig iptables off  #禁止开机启动

3.关闭selinux安全子系统

vi /etc/selinux/config

#SELINUX=enforcing
SELINUX=disabled

wq保存并退出

4.三台机器相互设置免密登录

4.1分别在三台机器执行命令生成公钥和私钥

ssh-keygen -t rsa  #执行完之后,按下三个回车即可,在/root/.ssh目录下发现多了两个id_rsa文件,一个公钥,一个私钥

4.2三台机器拷贝公钥到第一台机器

ssh-copy-id node01   #可以跳过4.3,直接复制公钥到node01,这样执行这条命令的服务器就能保证(ssh root@node01)

4.3复制第一台机器的公钥到其他两台机器

在第一台机器上执行下面的命令:

scp /root/.ssh/authorized_keys node02:/root/.ssh
scp /root/.ssh/authorized_keys node03:/root/.ssh

4.4验证登录免密是否成功

在node01上分别执行命令:

ssh node02
ssh node03

5.时钟同步

5.1联网版

原理:都去和阿里的一台机器的时钟做同步。

#分别在三台上面执行下面命令
yum install -y ntp

#编辑定时任务
crontab -e

#内容如下
*/1 * * * * /usr/sbin/ntpdate ntp4.aliyun.com
#wq保存并退出,定时任务就生效了

#查看定时任务
crontab -l

5.2离线版

原理:以三台中的一台的时间点为准
待完善