JDK&HDFS安装

发布时间 2023-12-16 16:30:52作者: chy_cug

一、 环境

操作系统:CentOS 7.9 64位

JDK版本:8

HADOOP版本:3.3.0

二、 安装包:

2.1 JDK百度网盘地址及提取码:

地址:https://pan.baidu.com/s/1sbgLPROfd9e_valSfv0YAQ  提取码:4qps

2.2 HADOOP百度网盘地址及提取码:

地址:https://pan.baidu.com/s/180Q7Lbyyo6qpwyu1AAFR_Q  提取码:ras4

三、 步骤:

3.1 上传安装包并解压缩

cd /opt

tar -zxvf jdk-8-linux-x64.tar.gz -C /usr/local/

tar -zxvf hadoop-3.3.0.tar.gz -C /usr/local/

3.2 修改配置文件

3.2.1

vim /etc/bashrc 加入如下内容:

export JAVA_HOME=/usr/local/jdk1.8.0_301

export CLASSPATH=:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

export HADOOP_HOME=/usr/local/hadoop-3.3.0

export PATH=$PATH:$JAVA_HOME/bin

export PATH=$PATH:/usr/local/hadoop-3.3.0/bin/:/usr/local/hadoop-3.3.0/sbin

执行:source /etc/bashrc

3.2.2

vim /usr/local/hadoop-3.3.0/etc/hadoop/core-site.xml 在“configuration”中加入如下内容:

   <property>

        <name>fs.defaultFS</name>

        <value>hdfs://10.206.0.8:9000</value>   ---内网地址

    </property>

      

vim /usr/local/hadoop-3.3.0/etc/hadoop/hdfs-site.xml 在“configuration”中加入如下内容:

    <property>

        <name>dfs.namenode.name.dir</name>

        <value>/hd/dfs/name</value>

    </property>

       <property>

        <name>dfs.datanode.data.dir</name>

        <value>/hd/dfs/data</value>

    </property>

      

vim /usr/local/hadoop-3.3.0/etc/hadoop/hadoop-env.sh

export JAVA_HOME=/usr/local/jdk1.8.0_301

3.3 格式化namenode

mkdir -p /hd/dfs/{data,name}

hadoop namenode -format

3.4 启动hdfs

hadoop-daemon.sh start namenode    ---如果有报错,可以查看如下目录的日志:/usr/local/hadoop-3.3.0/logs

hadoop-daemon.sh start datanode

 --停止进程

---hadoop-daemon.sh stop namenode

---hadoop-daemon.sh stop datanode

3.5 测试

hdfs dfs -ls /

touch test.txt

hdfs dfs -put  test.txt /

#新建备份目录

hdfs dfs -mkdir /backup

hdfs dfs -chown tbase:tbase /backup

hdfs dfs -ls /    ---此处显示test.txt文件即表示安装成功

四、 HDFS客户端步骤(在一台机器上面执行):

4.1 上传安装包并解压缩

cd /opt

tar -zxvf jdk-8-linux-x64.tar.gz -C /usr/local/

tar -zxvf hadoop-3.3.0.tar.gz -C /usr/local/

4.2 修改配置文件

4.2.1

vim /etc/bashrc 加入如下内容:

export JAVA_HOME=/usr/local/jdk1.8.0_301

export CLASSPATH=:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

export HADOOP_HOME=/usr/local/hadoop-3.3.0

export PATH=$PATH:$JAVA_HOME/bin

export PATH=$PATH:/usr/local/hadoop-3.3.0/bin/:/usr/local/hadoop-3.3.0/sbin

执行:source /etc/bashrc

4.2.2

vim /usr/local/hadoop-3.3.0/etc/hadoop/hadoop-env.sh

export JAVA_HOME=/usr/local/jdk1.8.0_301

4.2.3

        vim /usr/local/hadoop-3.3.0/etc/hadoop/core-site.xml

   <property>

        <name>fs.defaultFS</name>

        <value>hdfs://10.206.0.8:9000</value>     ---此处对应的是server端的IP地址

</property>

4.3验证

  hdfs dfs -ls /   ---此处显示test.txt文件即表示安装成功