1、流程说明

本文参考尚硅谷大数据教程加以整理

1、win10, 安装好xshell/xftp/vmware，搭建虚拟机，克隆3台

2、配置网络，防火墙，host,hostname ，创建新用户，配置ssh免密

3、上传jdk/hadoop安装包，解压，配置环境变量，wordcount测试

注意：虚拟机搭建好，配置完就要切换到xing用户，使用sudo操作的场景：

修改环境变量用 sudo vim /etc/profile.d/xing_env.sh

创建/opt/software module . sudo mkdir /opt/modlue sudo mkdir /opt/software

修改这两个文件所有权： sudo chown xing:xing /opt/software /opt/module

2、虚拟机搭建

注意：如果要切换vmare新版本，一定要用Uninstall工具完整卸载之前的vmware

需要工具：xshell 7绿色版、xftp7、vmware15、Centos7.9

下载地址：

Uninstall Tool：链接：https://pan.baidu.com/s/1PkOJSIJvgMXNPaXf6BtInw?pwd=iph4 提取码：iph4

vmware&centos: 链接：https://pan.baidu.com/s/1JRND3mU8BdlVru7mdbl7xA?pwd=zvnm 提取码：zvnm

xshell&xftp 链接：https://pan.baidu.com/s/1GH3v5qTjufHRNCu9KWAWYg?pwd=8z2a 提取码：8z2a

① 安装各软件

② 搭建虚拟机

参考尚硅谷文档：

02_VMware与CentOS及XShell的安装.docx
03_尚硅谷大数据技术之Linux（V4.0）.docx
04_尚硅谷大数据技术之Shell（V4.0）.docx

链接：https://pan.baidu.com/s/1df4B_kfckGYRLL7y3nGatg?pwd=a8xo
提取码：a8xo

③ 克隆虚拟机（可以配置完再克隆）

关闭虚拟机
右键管理--克隆--完整克隆
修改hosts, hostname,重启网络

3、虚拟机配置

# 1.修改ip地址
	vi /etc/sysconfig/network-scripts/ifcfg-ens33
	修改
	BOOTPROTO=static
	ONBOOT=yes
	添加如下内容
	IPADDR=192.168.10.102
	GATEWAY=192.168.10.2
	DNS1=114.114.114.114
	DNS2=8.8.8.8
	
# 2.重启network服务
	systemctl restart network
#  (xshell连接Linux)	
	

# 3.安装插件
yum install -y epel-release net-tools vim
yum install -y  psmisc  nc  rsync  lrzsz  ntp libzstd openssl-static tree iotop git

#（可以在安装的过程中，再打开一个窗口继续下面的操作）

# 4.关闭防火墙
	systemctl stop firewalld
	systemctl disable firewalld
	
# 5.创建用户

	#创建用户
	useradd xing
	
	#设置密码123321
	passwd xing
	
	#给xing设置可以使用root权限
	visudo
	
	#在root    ALL=(ALL)       ALL下面添加如下内容
	xing ALL=(ALL)       NOPASSWD:ALL

# 6.创建目录
	mkdir /opt/module
	mkdir /opt/software
	
# 7.修改目录的所属主和所属组为atguigu
	chown xing:xing module software

# 8.修改主机名:node001
	vi /etc/hostname
	
# 9.修改hosts文件

	#修改linux的hosts文件
	vi /etc/hosts
	
	# 添加如下内容
192.168.10.100 node100
192.168.10.101 node101
192.168.10.102 node102
192.168.10.103 node103
192.168.10.104 node104
192.168.10.105 node105
192.168.10.106 node106
192.168.10.107 node107
192.168.10.108 node108

	#修改windows的hosts文件（如果修改保存时显示没有权限。可以将hosts文件复制到桌面修改桌面上的hosts文件再把桌面的hosts文件复制回去即可。查看是否成功）
	C:\Windows\System32\drivers\etc
		
	#添加如下内容
192.168.10.100 hadoop100
192.168.10.101 hadoop101
192.168.10.102 hadoop102
192.168.10.103 hadoop103
192.168.10.104 hadoop104
192.168.10.105 hadoop105
192.168.10.106 hadoop106
192.168.10.107 hadoop107
192.168.10.108 hadoop108


# 10.等插件都装完后再重启Linux

# 11. windows测试
cmd
ping node001

# 12. linux测试
ping 192.168.1.2

# 13. 配置ssh免密
    su xing
    cd ~
    # 三台都执行以下命令并一路回车
    ssh-keygen -t rsa 
    # 三台分别执行以下命令，并输入yes和密码
    ssh-copy-id node001
    ssh-copy-id node002
    ssh-copy-id node003
	#测试
	ssh node001
	exit
	ssh node002
	exit
	# 拉
	scp -r xing@node003:/opt/b.txt  ./
	# 推
	scp -r b.txt xing@node002:/opt/module/
	
# OK

4、 jdk安装

# 1.(xing用户)将压缩包上传到/opt/software

# 2.解压到/opt/module
	tar -zxvf jdk-8u212-linux-x64.tar.gz -C /opt/module
	
# 3.配置环境变量
	# 3.1 在/etc/profile.d目录下创建my_env.sh
		sudo touch xing_env.sh
	
	# 3.2在文件中添加内容
		sudo vim xing_env.sh
		# 添加
		#JAVA_HOME
		export JAVA_HOME=/opt/module/jdk1.8.0_212
		#将JAVA_HOME拼接到PATH中
		export PATH=$PATH:$JAVA_HOME/bin
		
		
# 4.让环境变量生效
	# 4.1 重新连接
	# 4.2 source一下
		source /etc/profile.d/xing_env.sh

# 5.测试
	java
	javac
	java -version

5、hadoop安装

# 1.(xing用户)将压缩包上传到/opt/software

# 2.解压到/opt/module
	 tar -zxvf /opt/software/hadoop-3.1.3.tar.gz -C /opt/module
	
# 3.配置环境变量
		sudo vim /etc/profile.d/xing_env.sh
	
		#JAVA_HOME
		export JAVA_HOME=/opt/module/jdk1.8.0_212
		#HADOOP_HOME
		export HADOOP_HOME=/opt/module/hadoop-3.1.3
		#将上面的变量拼接到PATH中
		export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

# 4.让环境变量生效
	# 4.1 重新连接
	# 4.2 source一下(之前存在的环境变量会变成两分)
		source /etc/profile.d/xing_env.sh

# 5.测试
	hadoop version
	
# 6. 单机wordcount测试 node003
cd /opt/module/hadoop-3.1.3

mkdir wcinput

vim wcinput/a.txt
	java java java hello hello world python py py
	
hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar wordcount wcinput wcout

# 查看 wcout/part......可以看到结果