集群hadoop hive
【k8s】k8s构建mysql双主集群
背景 当前很多开源系统都是基于k8s，而部署时会遇到组件包含mysql的情况。理想的情况下，是将mysql迁移到云上托管。但实际情况可能比较复杂，比如这个开源框架需要mysql的DML权限，但是公司DBA不提供； 而基于k8s部署mysql的问题是，这个mysql集群往往是单点的。一般mysql会依 ......
Hadoop3.3.6配置历史服务器和日志
一、配置历史服务器 1.增加配置属性 Hadoop部署模式主要有3种：本地、伪分布式、完全分布式。云服务器只有一台所以我使用的是伪分布式模式部署的。要配置历史服务器只需修改mapred-site.xml文件。在里面增加如下配置。 <!-- 历史服务器端地址 --> <property> <name> ......
【8.0】Redis主从复制和哨兵集群
【一】主从复制 【1】引入 原因 ： redis 单实例 机器故障；容量瓶颈；QPS瓶颈 主从复制：一主一从，一主多从 做读写分离 做数据副本 扩展数据性能 一个master可以有多个slave 一个slave只能有一个master 数据流向是单向的，从master到slave 【2】主从原理 主从 ......
关于IDEA里面连接数据库找不到org.apache.hive.jdbc.Driver的问题
问题描述 昨天就很顺利地连接上了，今天直接找不到我的class了，吓出一身冷汗； 问题解决 后来发现导入的jar包的路径不太对，突然想起来jar包的位置被我移动了，但是IDEA里面并没有改变原来的位置，找不到jar包的问题， 重新将jar包的路径浏览一遍即可解决； ......
大数据hadoop学习总结
一、环境配置: 1、hadoop 2、zookeeper 3、hbase 4、phoenix 二、连接准备 hbase-site.xml 1 <?xml version="1.0"?> 2 <?xml-stylesheet type="text/xsl" href="configuration.xs ......
Hadoop基础学习1(SSHfinalshell、vim、别名、hadoop集群)
1.SSH协议 SSH协议为Secure Shell的缩写，是一种网络安全协议，转为远程的登录会话和其他网络服务提供安全性的协议。 在Linux中，SSH的主要用途有：用户加密实现远程登录，服务器之间的免密登录。 SSH协议默认采用RSA算法实现非对称加密，需要两个密钥：公开密钥和私有密钥。 公钥和 ......
1-centOS7搭建伪分布式Hadoop
前言：虚拟机快照的使用 VMware Workstation 软件可以用快照进行迅速的虚拟机状态的切换 ※. 类似于虚拟机备份， 可以使用备份进行快速恢复。 比如没安装jdk之前拍摄快照来备份 ※. 若jdk没安装好或者jdk环境变量配置的有问题， 可以用安装之前的快照快速恢复虚拟机 1.拍摄快照： ......
使用IDEA连接Hive数据库使用Java代码实现增删改查还需要一个Hive配置类
可以取名为：HiveConfig-- package com.example.config; import com.alibaba.druid.pool.DruidDataSource; import lombok.Data; import org.springframework.beans.fac ......
Hive进行增删改查语句命令之前，需要做的一些配置
1、在我们刚刚将Hive连接到IDEA之后 满怀期待地想要试一试sql语句，发现除了select和insert，其余的都会报错； 2、查阅资料发现，要是想要执行其余的语句 需要在虚拟机的hive-site.xml文件里面，添加上下面的语句： <property> <name>hive.support ......
IDEA远程连接Hive(首先要确保本机和虚拟机在一个公网上面，具有连通性)
1、开启hiveserver2服务 start-all.sh nohup /export/server/apache-hive-3.1.2-bin/bin/hive --service metastore & nohup /export/server/apache-hive-3.1.2-bin/bi ......
Ubuntu22系统部署Hadoop3.3.6环境
看boss有招大数据的讲师，好奇看了下，现在大学都讲大数据了，现在是越来越普及。昨天弄了一个云服务器部署了下Hadoop，虽然也是参考网上教程部署，但过程中还是出了不少问题。想着把部署过程完整记录下，所以我就把部署好的实例释放了又实例化了一台新的云服务器重新部署了下，如果是在我本地安装报错了还得重新 ......
hive2.3.1部署
1.安装本人安装hive1.2.1的方式准备mysql和hive 2.不同点为配置hive-site.xml时，需要在文件中额外添加配置 <!--hive2需要初始换元数据 schematool -initSchema -dbType mysql--> <property> <name>datanu ......
初探redis集群
集群搭建（windows） 准备多个redis环境，修改各自的redis.windows.conf, 关注如下配置 a. port b. 打开注释cluster-config-file yes c. cluster-config-file 设置为不同的名字 d. cluster-node-timeo ......
FAILED: SemanticException Unable to determine if hdfs://localhost.localdomain:9000/root/software/apache-hive-3.1.2-bin问题的解决
# 问题描述 在hive数据库里面，使用select语句对表的数据进行查找，就出现了这个错误:  # 问题解决 这 ......
输入jps命令发现缺少namenode进程--同时猜想hive启动失败是由于缺少namenode进程的原因
# 问题描述  且  但是在尝试将**NONE ......
部署K8S 1.28版本集群部署（基于Containerd容器运行）
1、主机配置 hostnamectl set-hostname k8s-masterecho "172.21.131.89 k8s-master" >> /etc/hostssystemctl stop firewalld && systemctl disable firewalldsetenfor ......
关于hive数据库添加信息到表中出现问题的原因细说
# 问题来源 在建表完成之后，尝试使用insert into语句向表中添加数据信息，然后就一直不能成功，当然，添加的数据信息与表的字段类型是对应的； # 问题解决 查阅相关资料发现，原来是虚拟机的内存不太够，然后就按照网上的建议，将下面的语句放置到hadoop下面的**yarn-site.xml** ......
HIVE将长整数转字符串的错误
有一个超长字符串，比如：441066000000001005712973，原来存放在HIVE里表A 是用DECIMAL(24)类型。现在要与另外一个用string类型保存这个字段的表B关联，老是失败。单独检查，发现它与表B的空值关联上。 单独使用语句检查： select cast(441066000 ......
卸载Ceph集群中的OSD
# 卸载Ceph集群中的OSD ```sh 要卸载Ceph集群中的OSD（对象存储守护程序），您可以按照以下步骤执行。 请注意，在卸载OSD之前，请确保您已经安全备份了Ceph集群中的数据，因为卸载OSD将导致数据重新平衡和迁移。 ``` ## 1.**停用OSD** 在卸载OSD之前，您需要将它们 ......
habase2.5.5解决ERROR: org.apache.hadoop.hbase.ipc.ServerNotRunningYetException: Server is not runnin
hbase的master和regionserver启动都正常但是出现错误 org.apache.hadoop.hbase.ipc.ServerNotRunningYetException: Server is not runnin之后我翻阅logs里面的启动日志 解决方案 在hbase-site.x ......
静态搭建etcd集群(二进制安装)
| 软件 | 版本 | | | | | etcd | v3.5.9 | | cfssl | v1.6.4 | ### 一、下载文件 ![image](https://img2023.cnblogs.com/blog/2833167/202309/2833167-20230904174006126-3 ......
网易Airtest全新推出：小型便携式集群解决方案！
它来了~它来了~网易Airtest全新版本的小型便携式集群方案它来啦！我们这次改进之后，便携式机柜更便捷~功能性更强啦！ ......
K8s 多集群实践思考和探索
本文主要讲述了一些对于k8s多集群管理的思考，包括为什么需要多集群、多集群的优势以及现有的一些基于Kubernetes衍生出的多集群管理架构实践。 ......
ElasticSearch系列——查询、Python使用、Django/Flask集成、集群搭建，数据分片、位置坐标实现附近的人搜索
@[toc] # Elasticsearch之-查询 ``` 查询分类： 基本查询：使用es内置查询条件进行查询 组合查询：把多个查询组合在一起进行复合查询 过滤：查询的同时，通过filter条件在不影响打分的情况下筛选数据 ``` ## 一 基本查询 ```python #添加映射 PUT lag ......