一、 环境
操作系统:CentOS 7.9 64位
JDK版本:8
HADOOP版本:3.3.0
二、 安装包:
2.1 JDK百度网盘地址及提取码:
地址:https://pan.baidu.com/s/1sbgLPROfd9e_valSfv0YAQ 提取码:4qps
2.2 HADOOP百度网盘地址及提取码:
地址:https://pan.baidu.com/s/180Q7Lbyyo6qpwyu1AAFR_Q 提取码:ras4
三、 步骤:
3.1 上传安装包并解压缩
cd /opt
tar -zxvf jdk-8-linux-x64.tar.gz -C /usr/local/
tar -zxvf hadoop-3.3.0.tar.gz -C /usr/local/
3.2 修改配置文件
3.2.1
vim /etc/bashrc 加入如下内容:
export JAVA_HOME=/usr/local/jdk1.8.0_301
export CLASSPATH=:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export HADOOP_HOME=/usr/local/hadoop-3.3.0
export PATH=$PATH:$JAVA_HOME/bin
export PATH=$PATH:/usr/local/hadoop-3.3.0/bin/:/usr/local/hadoop-3.3.0/sbin
执行:source /etc/bashrc
3.2.2
vim /usr/local/hadoop-3.3.0/etc/hadoop/core-site.xml 在“configuration”中加入如下内容:
<property>
<name>fs.defaultFS</name>
<value>hdfs://10.206.0.8:9000</value> ---内网地址
</property>
vim /usr/local/hadoop-3.3.0/etc/hadoop/hdfs-site.xml 在“configuration”中加入如下内容:
<property>
<name>dfs.namenode.name.dir</name>
<value>/hd/dfs/name</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>/hd/dfs/data</value>
</property>
vim /usr/local/hadoop-3.3.0/etc/hadoop/hadoop-env.sh
export JAVA_HOME=/usr/local/jdk1.8.0_301
3.3 格式化namenode
mkdir -p /hd/dfs/{data,name}
hadoop namenode -format
3.4 启动hdfs
hadoop-daemon.sh start namenode ---如果有报错,可以查看如下目录的日志:/usr/local/hadoop-3.3.0/logs
hadoop-daemon.sh start datanode
--停止进程
---hadoop-daemon.sh stop namenode
---hadoop-daemon.sh stop datanode
3.5 测试
hdfs dfs -ls /
touch test.txt
hdfs dfs -put test.txt /
#新建备份目录
hdfs dfs -mkdir /backup
hdfs dfs -chown tbase:tbase /backup
hdfs dfs -ls / ---此处显示test.txt文件即表示安装成功
四、 HDFS客户端步骤(在一台机器上面执行):
4.1 上传安装包并解压缩
cd /opt
tar -zxvf jdk-8-linux-x64.tar.gz -C /usr/local/
tar -zxvf hadoop-3.3.0.tar.gz -C /usr/local/
4.2 修改配置文件
4.2.1
vim /etc/bashrc 加入如下内容:
export JAVA_HOME=/usr/local/jdk1.8.0_301
export CLASSPATH=:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export HADOOP_HOME=/usr/local/hadoop-3.3.0
export PATH=$PATH:$JAVA_HOME/bin
export PATH=$PATH:/usr/local/hadoop-3.3.0/bin/:/usr/local/hadoop-3.3.0/sbin
执行:source /etc/bashrc
4.2.2
vim /usr/local/hadoop-3.3.0/etc/hadoop/hadoop-env.sh
export JAVA_HOME=/usr/local/jdk1.8.0_301
4.2.3
vim /usr/local/hadoop-3.3.0/etc/hadoop/core-site.xml
<property>
<name>fs.defaultFS</name>
<value>hdfs://10.206.0.8:9000</value> ---此处对应的是server端的IP地址
</property>
4.3验证
hdfs dfs -ls / ---此处显示test.txt文件即表示安装成功