526互联

HDFS基本介绍

发布时间 2023-12-19 11:23:58作者: 智慧的骆驼

    HDFS作为Hadoop的核心知识，是必须要掌握的，写这篇文章就是总结出HDFS的最核心知识点，那就开始吧！

    

   一：什么是HDFS

        Hadoop Distributed File System，简称 HDFS，是一个分布式文件系统。HDFS 有着高容错性（fault-tolerent）的特点，并且设计用来部署在低廉的（low-cost）硬件上。而且它提供高吞吐量（high throughput）来访问应用程序的数据，适合那些有着超大数据集（large data set）的应用程序。

     注意：分布式文件系统能够横跨N个机器

二：HDFS的基本架构

    HDFS是一个master/slave的架构模式，其中，Namenode充当了master的角色，Datanodes充当了slave的角色。

三：Hadoop之HDFS安装（以本人电脑上的目录结构为例）

下载安装包，并​ 解压：~/app ​

添加HADOOP_HOME/bin到系统环境变量 ​

修改Hadoop配置文件： ​ hadoop-env.sh(在/home/hadoop/app/hadoop-2.6.0-cdh5.15.1/etc/hadoop目录里) ​ export JAVA_HOME=/home/hadoop/app/jdk1.8.0_91

其他配置：

在core-site.xml中：
<property>
　　<name>fs.defaultFS</name>
　　<value>hdfs://hadoop000:8020</value>
</property>

在hdfs-site.xml中：

<property>
　　<name>dfs.replication</name>
　　<value>1</value>
</property>

<property>
　　<name>hadoop.tmp.dir</name>
　　<value>/home/hadoop/app/tmp</value>
</property>

在slaves中：
hadoop000

在 ~/.bash_profile里配置HADOOP_HOME,然后：source ~/.bash_profile

 

四：启动HDFS

$HADOOP_HOME/sbin/start-dfs.sh