hadoop学习笔记第一次

发布时间 2023-07-15 09:53:40作者: cojames

这周学习了大数据之hadoop,这一周的学习主要围绕在hadoop集群配置及其华宁的搭建,hadoop是采用多态服务器的分布式系统,主要的核心就是hdfs,mapreduce,yarn等等,hadoop配置时候在主机上遇到了蛮多的问题现在就来记录一下。

1.首先是一些基础命令:

回退/进入目录命令:cd ..或cd /****

创建目录 :mkdir /***

删除目录 :rm -rf ****

hadoop集群格式化:hadoop namenode -format

开启集群:start-all.sh

关闭集群:stop-all.sh

分发命令 scp -r 文件位置*** root@hadoop***: ****(文件位置)

设置免密登录:首先进入到.ssh文件夹下,然后ssh-keygen回车,然后ssh-copy-id ***

2.问题集合:

初始化问题:在初始化节点之前需要配置好core-site.xml,hdfs.xml,yarn.site.xml,mapred-site.xml这四个文件,初始化只能进行一次,重新格式化需要删除data和logs文件。

主机配置问题:vim /etc/hosts进入后删除127的ip地址 然后重启网络。

启动集群问题:启动后如果没有DataNode或者namenode,那就很有可能核心配置文件和hdfs文件配置问题,需要先正确配置we文件然后删除data文件重新初始化

在webui界面只有主句一个节点,其他服务器节点没有显示:很有可能是9000端口不能被访问,即主机配置有问题,9000端口前的ip地址不能是127.0.0.0,必须是你主机的ip。