526互联

A7--Spark部署

发布时间 2023-04-04 13:46:45作者: Jerry·

一、版本信息

 
 
JDK 1.8
spark 3.2.1

二、安装部署

1）上传解压缩文件

tar -zxvf spark-3.2.1-bin-hadoop3.2.tgz

 

2）配置环境变量

vim /etc/profile
 
# Spark
export SPARK_HOME=/opt/spark-3.2.1
export PATH=$SPARK_HOME/bin:$PATH

3）修改配置文件

vim /opt/spark-3.2.1/conf/spark-env.sh
 
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
export YARN_CONF_DIR=$HADOOP_HOME/etc/hadoop
export SPARK_HOME=/opt/spark-3.2.1
export PATH=$SPARK_HOME/bin:$PATH
export PYSPARK_PYTHON=/usr/bin/python
export SPARK_DRIVER_PYTHON=/usr/bin/python