虚拟机运行Hadoop | 各种问题解决的心路历程

发布时间 2023-12-07 20:57:29作者: 喝着农药吐泡泡o

ps:完成大数据技术实验报告的过程,出项各种稀奇古怪的问题。(知道这叫什么吗?经济基础决定上层建筑,我当时配置可能留下了一堆隐患,总之如果有同样的问题,希望可以帮到你)

一、虚拟机网络连接不通的各种情况

我这里遇到的是,三台虚拟机,两台piing百度不同

原因:改了下内存,重启就又未知的网络名称

 解决办法一

vim /etc/sysconfig/network-scripts/ifcfg-ens33

解决办法二

 route -n

发现没有配网关地址

 

 

解决方法三✅

查看是否启用vmnet8

 

解决办法四✅

重启

 

二、HBase网页无法打开

解决方法一、于是,我手动更改了内存(2gb-4gb)✅

 

运行完之后电脑记得重启一下

再接着打开hbase网页就可以正常显示了,所以就是内存的原因

 

三、HMaster自动关闭

原因:启动hmaster后,jps中有hmaster进程,但不一会就自动关闭了

可能的原因:

解决办法一 是否同步虚拟机的时间

无问题

解决办法二 是否关闭所有防火墙

关闭了,但无法解决问题

解决办法三 hbase中的hbase-site.xml文件中的属性值(hbase.rootdir)主机端口是否一致

一致,无问题。

解决办法四 查看是否缺少配置✅ | 学会看日志!!!

 当我启动所有jps后,出现如下,发现缺少hmaster

 HMaster: HBase的主节点,负责管理RegionServers和处理客户端请求。

因而,我认为应该是没有hmaster的原因

启动后,发现异常

 这可能是由于HMaster启动失败或者无法成功地被识别。

一种可能的原因是启动HBase Master的权限问题,它可能在启动时无法正常执行或者无法被JVM正确地识别。

使用日志进行查看

cat /opt/module/hbase/logs/hbase-hadoop-master-hadoop100.out

 

看起来是SLF4J发现了多个绑定(multiple bindings)的情况

在我的输出中发现了三个可能的绑定:

  1. 位于 /opt/module/hbase/lib/phoenix-client-hbase-2.1-5.1.2.jar 的 Phoenix 的 SLF4J 绑定。
  2. 位于 /opt/module/hbase/lib/phoenix-client-hbase-2.3-5.1.3.jar 的 Phoenix 的 SLF4J 绑定。
  3. 位于 /opt/module/hbase/lib/client-facing-thirdparty/slf4j-log4j12-1.7.30.jar 的 SLF4J 绑定。

在这种情况下,应将不需要的 SLF4J 实现从类路径中删除,或者通过适当的配置来确保只有一个实现被使用。

 删除后,shell可以正常运行了