Hadoop集群的搭建
一、集群环境配置(准备三台服务器)
1.设置hostname,/etc/hosts
#查看当前host名称
hostname
#三台分别设置网络hostname,node01,node02,node03
vi /etc/sysconfig/network
NETWORKING=yes
HOSTNAME=node02
wq保存并退出
#修改hosts
vi /etc/hosts
192.168.1.200 node01
192.168.1.201 node02
192.168.1.202 node03
wq保存并退出,reboot重启
2.关闭防火墙(三台root用户执行)
service iptables stop #关闭防火墙
chkconfig iptables off #禁止开机启动
3.关闭selinux安全子系统
vi /etc/selinux/config
#SELINUX=enforcing
SELINUX=disabled
wq保存并退出
4.三台机器相互设置免密登录
4.1分别在三台机器执行命令生成公钥和私钥
ssh-keygen -t rsa #执行完之后,按下三个回车即可,在/root/.ssh目录下发现多了两个id_rsa文件,一个公钥,一个私钥
4.2三台机器拷贝公钥到第一台机器
ssh-copy-id node01 #可以跳过4.3,直接复制公钥到node01,这样执行这条命令的服务器就能保证(ssh root@node01)
4.3复制第一台机器的公钥到其他两台机器
在第一台机器上执行下面的命令:
scp /root/.ssh/authorized_keys node02:/root/.ssh
scp /root/.ssh/authorized_keys node03:/root/.ssh
4.4验证登录免密是否成功
在node01上分别执行命令:
ssh node02
ssh node03
5.时钟同步
5.1联网版
原理:都去和阿里的一台机器的时钟做同步。
#分别在三台上面执行下面命令
yum install -y ntp
#编辑定时任务
crontab -e
#内容如下
*/1 * * * * /usr/sbin/ntpdate ntp4.aliyun.com
#wq保存并退出,定时任务就生效了
#查看定时任务
crontab -l
5.2离线版
原理:以三台中的一台的时间点为准
待完善