未安装HBase时Hive on Spark任务卡顿处理如何解决

发布时间 2023-07-11 16:48:51作者: 平平淡淡以明志

操作场景

此功能适用于Hive组件。

按如下操作步骤设置参数后,在未安装HBase的环境执行Hive on Spark任务时,可避免任务卡顿。

 说明:
Hive on Spark任务执行Hive on Spark任务。如果没有安装HBase,默认在执行Spark任务时,会尝试去连接Zookeeper访问HBase,直到超时,这样会造成任务卡顿。
在未安装HBase的环境,要执行Hive on Spark任务,可以按如下操作处理。如果是从已有HBase低版本环境升级上来的,升级完成之后可不进行设置。

操作步骤

  1. 登录ambari 。
  2. 选择“集群 > 待操作集群的名称 > 服务 > Hive > 配置 > 全部配置”。
  3. 选择“HiveServer(角色) > 自定义”,对参数文件“spark-defaults.conf”添加自定义参数,设置“名称”为“spark.security.credentials.hbase.enabled”,“值”为“false” 。
  4. 单击“保存”,在弹出对话框单击“确定”。重启集群