Step1:前期准备
虚拟机软件:VMware workstation 16 pro
网盘链接:https://pan.baidu.com/s/1Yd0JUqiM-N6rpQbO0RjG_w
--来自百度网盘超级会员V2的分享
集群信息如下
主机名 | IP | 操作系统 |
node01 | 192.168.24.111 | |
node02 | 192.168.24.112 | |
node03 | 192.168.24.113 | |
node04 | 192.168.24.114 |
相关服务版本
服务 | 版本 | 网盘链接 |
JDK | 1.8.0 | |
Apache Zookeeper | 3.7.0 | |
Apache Hadoop | 3.3.0 | |
Apache HBase | 2.4.9 | |
Apache Hive | 3.1.2 | |
Apache Kafka | 2.8.0 | |
Apache Spark | 3.2.0 |
Step2:角色部署
主机名 | ZK | HDFS | Yarn | hive | hbase | Kafka | Spark | ||||||
NN | 2NN | DN | RM | NM | metastore | server | master | RS | server | executor | |||
node01 | ✔ | ✔ | ✔ | ✔ | ✔ | ✔ | ✔ | ✔ | ✔ | ||||
node02 | ✔ | ✔ | ✔ | ✔ | ✔ | ✔ | ✔ | ✔ | ✔ | ||||
node03 | ✔ | ✔ | ✔ | ✔ | ✔ | ✔ | ✔ | ✔ | |||||
node04 | ✔ | ✔ | ✔ | ✔ | ✔ | ✔ | ✔ |