Linux系统下安装Hadoop环境

发布时间 2023-08-09 17:26:19作者: yesyes1

安装Hadoop的话,是在安装好JDK和MYSQL之后的环境下进行的;还没有安装的话,可以跳转到安装jdk环境(https://www.cnblogs.com/liuzijin/p/17591188.html)

和安装mysql环境(https://www.cnblogs.com/liuzijin/p/17591191.html)

我使用的是FinalShell远程辅助工具

1、将对应的hadoop压缩包上传到root/software文件夹里面

先是在root文件夹下面新建了一个名为software的文件夹,然后右键,点击上传,选择本机上的文件,将hadoop压缩包上传到software文件夹里面

2、解压hadoop免安装压缩包

先用cd命令进入到software的文件夹目录下:

之后输入解压命令:

tar -zxvf hadoop-3.0.0.tar.gz

3、删除压缩包文件

rm -f hadoop-3.0.0.tar.gz

4、准备配置环境

cd /root/software/hadoop-3.0.0/etc/hadoop

进入到解压后的hadoop文件夹中:

5、配置hadoop-env.sh文件关联java

进入到hadoop-env.sh文件,进入编辑模式:

vi hadoop-env.sh

注释掉原来的JAVA_HOME路径,新增JAVA_HOME的实际路径

要是记不清JAVA_HOME的实际路径,可以退出编辑模式,之后输入这个命令:echo $JAVA_HOME,查找到JAVA_HOME的实际路径:

6、配置core-site.xml文件,配置核心

进入core-site.xml文件:

vi core-site.xml

将下面的语句,添加到文件的最下面:

<property>
   <name>fs.defaultFS</name>
   <value>hdfs://hadoop102:9000</value>
</property>
<property>
   <name>hadoop.tmp.dir</name>
   <value>/root/software/hadoop/tmp</value>
</property>
<property>
   <name>hadoop.proxyuser.root.hosts</name>
   <value>*</value>
 </property>
<property>
   <name>hadoop.proxyuser.root.groups</name>
   <value>*</value>
 </property>

放到configuration标签的里面:


第一个红框:放虚拟机的hostname;(可以使用hostname命令查看虚拟机的主机名称)

第二个红框:在hadoop文件夹里面新建一个名为tmp的文件夹;

其余内容不需要更改!

保存退出!

7、配置hdfs-site.xml配置类型

进入到hdfs-site.xml文件中:

vi hdfs-site.xml

将下面的语句同样保存到configuration标签里面保存退出:

<property>
  <name>dfs.replication</name>
  <value>1</value>
</property>

无需进行内容上的更改:

8、配置mapred-site.xml文件

进入到mapred-site.xml文件里面:

vi mapred-site.xml

将下面的语句复制到configuration标签里面保存退出:

<property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
</property>

保存退出:

9、配置yarn-site.xml文件

进入到yarn-site.xml文件里面:

vi yarn-site.xml

将下面的语句保存到configuration的标签里面:

<property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
</property>
<property>
    <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
    <value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
<property>
    <name>yarn.resourcemanager.hostname</name>
    <value>hadoop102</value>
</property>

将下面红框里面的数据呢绒改成我们虚拟机的hostname:

保存退出:

10、配置hadoop环境变量

进入到etc/profile目录下的文件内:

vi /etc/profile

将下面的语句复制到最下面的语句那里:

export HADOOP_HOME=/root/software/hadoop
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export YARN_HOME=$HADOOP_HOME
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib"
export PATH=$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

保存退出:

11、让环境变量生效

source /etc/profile

12、进行初始化

hadoop namenode -format

出现successfulstatus=0即可成功!