hadoop 问题集

发布时间 2023-08-16 17:32:57作者: 咔咔皮卡丘

1.Hadoop "Cannot create directory .Name node is in safe mode."解决方案

hadoop dfsadmin -safemode leave

 

2.本地eclipse连接外网Hadoop

通过查询发现,外网中的hadoop如果想要被外网访问,需要在hdfs-site.xml 中添加
<property>
    <name>dfs.namenode.rpc-bind-host</name>
    <value>0.0.0.0</value>
</property>
 

3.Hadoop本地开发,9000端口拒绝访问

(1)首先,利用netstat -tpnl查看的端口开放情况(yum install net-tools 安装netstat )

 

(2)通过查看端口发现,9000端口只允许本机访问,我远程连接当然会提示拒绝访问了。可能是Hadoop为了保证集群的安全性,默认的是本集群之间的访问,只允许配置的某一个IP访问吧。于是我想能不能把这个端口放开,允许所以IP访问。于是我把hosts中的文件做了下面的修改。

更改为:

 

然后重启hadoop再次netstat -tpnl

 原来127.0.0.1 变成0.0.0.0

结语

学习没有捷径,一步一个脚印!