集群hadoop hive
Redis 高可用 —— 集群
参考： 码哥字节：https://xie.infoq.cn/article/c556cac5450ca3d874621edde Knight_AL: https://blog.csdn.net/qq_46548855/article/details/128944720 云三木：https://blo ......
virtual box 部署 k8s 集群
1. 安装 virtual box 版本：VirtualBox-6.1.42 2. 创建虚拟机，安装 centos7 新建虚拟机： 选择网络 安装 centos7 操作系统： 安装过程中配置网络 centos 安装完成后，需要修改 host-only 的网络参数 cd /etc/sysconfig/ ......
java判断postgres数据库集群的master节点
1.引入依赖 <!--postgresql--> <dependency> <groupId>org.postgresql</groupId> <artifactId>postgresql</artifactId> <version>42.2.2</version> </dependency> 2. ......
docker-compose安装ES集群以及kibanna并配置账号密码
# 一、安装不带密码的es集群 ## 1.1 目录结构 ~~~ -root -compose -elasticsearch -docker-compse.yml -es_data -es01 -data -logs -config -elasticsearch.yml -es02 -data -lo ......
k8s集群卸载
# k8s集群卸载 ```shell # 重置 kubeadm kubeadm reset rm -rf $HOME/kube rm -rf /etc/kubernetes/ rm -rf /etc/systemd/system/kubelet.service.d rm -rf /etc/syste ......
2023 Hive 面试大纲
#### 先说一些废话 总结一下Hive面试大纲，方便读者快速过一遍Hive面试所需要的知识点 ## Hive的介绍 ### Hive和Hadoop的关系 1. Hive利用hdfs存储数据，利用MapReduce查询数据 2. Hive的数据存储在hdfs上，简单的说Hive就是hdfs的简单一种 ......
Scala连接Hbase集群出现异常tried to access method com.google.common.base.Stopwatch.<init>()V from class org.apache.hadoop.hbase.zookeeper.MetaTableLocator
总结/朱季谦 在新项目上创建以下Scala代码去连接Hbase集群，用来判断Hbase是否存在某张表。 ``` //离线Hbase val conf: Configuration = HBaseConfiguration.create() conf.set("hbase.zookeeper.quor ......
Jenkins远程管理K8S集群实现自动POD部署
# Jenkins远程管理K8S集群实现自动POD部署 大致思路 1. 修改.kube/config 文件，增加新集群的context 2. 建立隧道将集群控制端口映射到Jenkins服务器本地端口 3. 测试jenkin 切换到新context 是否能控制该集群 4. 新集群配置对接Harbor仓 ......
Hadoop MapReduce编写实现序列化统计各学生的总分
Map类 package org.example.score; import org.apache.hadoop.io.IntWritable; import org.apache.hadoop.io.LongWritable; import org.apache.hadoop.io.Text; i ......
k8s集群node NotReady处理流程-->kubelet状态error，并伴有报错：kubelet.service has more than one ExecStart=setting,which is only allowed for Type=oneshot services.Refusing
## k8s集群node NotReady处理流程-->kubelet状态error > //20230712 集群有节点NotReady kubelet状态error，并伴有报错：```kubelet.service has more than one ExecStart=setting,whic ......
安装Hadoop单节点伪分布式集群
[toc] # 安装Hadoop单节点伪分布式集群 操作系统：Ubuntu server 20.04 参考文档：`http://apache.github.io/hadoop/hadoop-project-dist/hadoop-common/SingleCluster.html` ## 系统准备 ......
搭建pg-ha集群
[1] https://wiki.postgresql.org/wiki/Binary_Replication_Tutorial#5_Minutes_to_Simple_Replication [2] https://wiki.postgresql.org/wiki/Hot_Standby [3] ......
基于CDH环境下的Hive数仓配置及优化
# 基于CDH环境下的Hive数仓配置及优化 原文连接地址：https://blog.csdn.net/sinat_31854967/article/details/127274575 ## YARN的基础配置 ### NodeManager CPU配置 - 在YARN界面中，点击配置，然后搜索配置 ......
hadoop基础-hadoop启动脚本分析及常见命令
进程 [hdfs]start-dfs.sh NameNode NN DataNode DN SecondaryNamenode 2NN [yarn]start-yarn.sh ResourceMananger RM NodeManager NM 脚本分析 sbin/start-all.sh libe ......
Centos7 升级 Kubernetes(k8s) 集群
Centos7 升级 Kubernetes(k8s) 集群，升级master主节点，升级kubeadm，升级各个组件，升级 kubelet 和 kubectl，升级worker工作节点，升级kubeadm，升级kubelet和kubectl ......
docker 安装redis 6.0.8哨兵集群（一主两从三哨兵）
#### 准备三台主机并且安装了docker ``` 192.168.31.132 192.168.31.134 192.168.31.144 ``` #### linux 版redis6.0.8 下载 ``` 下载地址：https://download.redis.io/releases/ ``` ......
高可用k8s集群
基于kubeasz部署高可用k8s集群 在部署高可用k8s之前，我们先来说一说单master架构和多master架构，以及多master架构中各组件工作逻辑 k8s单master架构 提示：这种单master节点的架构，通常只用于测试环境，生产环境绝对不允许；这是因为k8s集群master的节点是单 ......
未安装HBase时Hive on Spark任务卡顿处理如何解决
操作场景 此功能适用于Hive组件。 按如下操作步骤设置参数后，在未安装HBase的环境执行Hive on Spark任务时，可避免任务卡顿。 说明：Hive on Spark任务执行Hive on Spark任务。如果没有安装HBase，默认在执行Spark任务时，会尝试去连接Zookeeper访 ......
Hive SQL 之 date()函数
当使用Hive SQL中的 date 函数时，你可以从时间戳中提取日期部分，或将日期的字符串表示转换为日期数据类型。 date 函数的语法如下： ``` date(date_string) ``` 这里， date_string 是表示日期或时间戳的输入字符串。 date 函数将输入的日期部分作为日 ......
HIVE sql 初识笔记
一、sql 1. 向hive里的某张表添加数据load data local inpath '/home/ocdp/hfb/sex.txt' OVERWRITE into table TD_NP_ENUM_COC_BATCH1_DAY_COLUMN_013; 2. 查询 select * from ......
Hive 的执行优化问题小结
hive 的谓词下推和optimize优化功能的讨论 sql 核心的大概结构为 with user_table as ( select user_id from user ) select t1.user_id from ( select t1.user_id, .... from ( select ......
搭建高可用集群
## 1. 关于 OpenSSL https://www.yundongfang.com/Yun224517.html https://blog.csdn.net/qq120631157/article/details/130464937 ......
hive执行truncate table报错堆栈信息
Caused by: org.apache.hadoop.hive.ql.metadata.HiveException: MetaException(message:Got exception: org.apache.hadoop.ipc.RemoteExcepti on The directory ......
Hadoop中hive的使用
启动元数据管理服务（必须启动，否则无法工作） 前台启动：bin/hive --service metastore 后台启动：nohup bin/hive --service metastore >> logs/metastore.log 2>&1 & 启动客户端 Hive Shell方式（可以直接写 ......
07-Nginx搭建高可用集群
- [1. Keepalived+Nginx 高可用集群（主从模式）](#1-keepalivednginx-高可用集群主从模式) - [2. 配置高可用的准备工作](#2-配置高可用的准备工作) - [3. 在两台服务器上安装keepalived](#3-在两台服务器上安装keepalived) ......
Pulsar集群: instanceId xxx is not match with xxx
### Pulsar集群: instanceId xxx is not match with xxx  ##### 1.问题原因 pulsar本地存储的instanceId与zookeeper不一致导致，即使 ......
Hadoop on k8s 快速部署进阶精简篇
[TOC] ## 一、概述 前面一篇文章已经很详细的介绍了Hadoop on k8s部署了，这里主要针对部署时可能会调整的地方和注意事项进行讲解，想详细了解详细部署过程可参考我上一篇文章：[Hadoop on k8s 编排部署进阶篇](https://www.cnblogs.com/liugp/p/ ......
大数据面试题集锦-Hadoop面试题(四)-YARN
> 你准备好面试了吗?这里有一些面试中可能会问到的问题以及相对应的答案。如果你需要更多的面试经验和面试题，关注一下"**张飞的猪大数据分享**"吧，公众号会不定时的分享相关的知识和资料。 [TOC] ## 1、为什么会产生 yarn,它解决了什么问题，有什么优势？ 1）Yarn最主要的功能就是解决运 ......
Hadoop中YARN集群启停命令
一键启停脚本 # 一键启动yarn集群 start-yarn.sh # 一键关闭yarn集群 stop-yarn.sh 单进程启停 start和stop决定启动和停止可控制resourcemanager、nodemanager、proxyserver三种进程 yarn --daemon start| ......