集群hadoop hive
以二进制文件安装K8S之部署etcd高可用集群
## 概述 前提条件：已经准备好CA根证书（etcd在制作CA证书时需要CA根证书），并且把CA根证书文件`ca.key`和`ca.crt`拷贝到3个etcd节点的`/etc/kubernetes/pki`目录下。 3台主机的IP地址分别为`192.168.3.135`、`192.168.3.136 ......
以二进制文件安装K8S之部署Master高可用集群
如下以二进制文件方式部署安全的Kubernetes Master高可用集群，具体步骤如下： 1.下载Kubernetes服务的二进制文件 2.部署kube-apiserver服务 3.创建客户端CA证书 4.创建客户端连接kube-apiserver服务所需的kubeconfig配置文件 5.部署k ......
Hive 刷题——查看每件商品的售价涨幅情况
题目描述 从商品价格变更明细表（sku_price_modify_detail），得到最近一次价格的涨幅情况，并按照涨幅升序排序。 结果如下： sku_id<string>（商品id）price_change<decimal(16,2)>（涨幅） 8 -200.00 9 -100.00 2 -70. ......
8.14-8.20学习总结博客五：Hive进阶与复杂查询
博客题目：学习总结五：Hive进阶与复杂查询实践内容概要：学习Hive进阶的使用方法，包括复杂查询、数据转换和性能优化等方面的知识。学习资源：推荐的Hive进阶教程、实践案例和性能优化技巧。实践内容：通过编写复杂的Hive查询语句，探索Hive的高级功能和性能优化方法，并分享实践中的挑战和解决方案。 ......
Hadoop3.3.0--Linux编译安装
### Hadoop3.3.0--Linux编译安装 本实验内容教程来源于“黑马程序员”如有侵权请联系作者删除 基础环境：Centos 7.7 编译环境软件安装目录 ``` mkdir -p /export/server ``` #### 一、Hadoop编译安装（选做） > ==可以直接使用课程提 ......
配置Redis哨兵集群所遇到的问题
配置Redis哨兵集群时日志显示+sdown slave的问题 一、配置及其环境描述（问题产生的原因是因为Redis复制中主节点对从节点的ip配置错误，从而导致哨兵无法识别从节点，进而无法进行故障转移） 1.操作系统：Linux 虚拟机：VMware Workstation 16 Pro 、WSL ......
管理和维护RHCS集群
管理和维护RHCS集群是一个非常复杂和繁琐的工作，要维护好一个RHCS集群，必须熟悉RHCS的基本运行原理，在集群管理方面，RHCS提供了两种方式：即Luci图形界面方式和命令行方式，这儿重点讲述在命令行下如何管理RHCS集群。 启动RHCS集群 RHCS集群的核心进程有cman和rgmanager ......
使用kube-bench检测Kubernetes集群安全
使用kube-bench检测Kubernetes集群安全，CIS (Center for Internet Security)简介，什么是Kube-Bench？，使用kube-bench检测不安全的设置，安装kube-bench，kube-bench检测etcd组件，kube-bench检测mast... ......
springboot redssion 单机模式/集群模式/哨兵模式连接
引入依赖： <dependency> <groupId>org.redisson</groupId> <artifactId>redisson</artifactId> <version>3.10.7</version> </dependency> <dependency> <groupId>cn. ......
CDH集群之YARN性能调优
##### CDH集群之YARN性能调优 > 本文主要讨论CDH集群的YARN调优配置，关于YARN的调优配置，主要关注CPU和内存的调优，其中CPU是指物理CPU个数乘以CPU核数，即Vcores = CPU数量*CPU核数。YARN是以container容器的形式封装资源的，task在conta ......
[kubernetes]二进制部署k8s集群-基于containerd
基于containerd和kubernetes的二进制文件，内网离线环境下部署1.26版本的集群。并且在内网部署harbor镜像仓库。 ......
集群环境的定时任务重复执行的解决方案
在开发的过程中，经常会遇到需要使用定时器的问题，比如需要定时向任务表写任务。但是项目是部署到集群环境下的，如果不做处理，就会出现定时任务重复执行的问题。问题产生的原因：由于我们项目同时部署在多台集群机器上，因此到达指定的定时时间时，多台机器上的定时器可能会同时启动，造成重复数据或者程序异常等问题。 ......
windows环境下redis集群
第一步：安装一个redis，要能正常跑起来（其实只是为了证明你会安安装而已） 第二步：几个节点就创建几个目录（要求最少3个master，如果想有一个从节点的话，那就最少6个节点），然后将redis 目录下的redis-server 及 redis.windows.conf copy到这些目录并修改配 ......
springboot2.0整合redis集群，其实好简单
配置 #redis配置 redis: cluster: nodes: - 127.0.0.1:9000 - 127.0.0.1:9001 - 127.0.0.1:9002 - 127.0.0.1:9003 - 127.0.0.1:9004 - 127.0.0.1:9005 timeout: 6000 ......
MYSQL与Hive配置的相关步骤
# 1、配置元数据到MYSQL #### 1、新建Hive元数据库 登录Mysql： ``` mysql -uroot -p //不加分号 ``` ![](https://img2023.cnblogs.com/blog/2808014/202308/2808014-2023081715275115 ......
Sealos 国内集群正式上线，可一键运行 LLama2 中文版大模型！
2023 年 7 月 19 日，MetaAI 宣布开源旗下的 LLama2 大模型，Meta 首席科学家、图灵奖得主 Yann LeCun 在推特上表示 Meta 此举可能将改变大模型行业的竞争格局。一夜之间，大模型格局再次发生巨变。 ![](https://img2023.cnblogs.com/ ......
Apache hive安装配置的相关步骤
# 1、Hive下载地址http://archive.apache.org/dist/hive/ 我选择的是Hive的这个版本： ![](https://img2023.cnblogs.com/blog/2808014/202308/2808014-20230817095816544-1154047 ......
vivo 容器集群监控系统优化之道
本文介绍了vivo容器团队基于 Prometheus等云原生监控生态来构建的容器集群监控体系，在业务接入容器监控的过程中遇到的挑战、困难，并分享了相应的应对策略和优化方案。 ......
hive排序函数 rank、dense_rank、row_number
rank函数：对有序序列编号，当排序字段取值相同时编号相同，且下一条取值不同记录的编号不连续。如序列为：13,13,13,13,13,14,…对应的排序编号为1,1,1,1,1,6,… dense_rank函数：对有序序列编号，当排序字段相同时编号相同，且下一条记录的编号仍连续。如序列为：13,13 ......
Trino418版本动态加载catalog不需要重启集群修改思路及实现
熟悉Trino 的同学应该都知道Trino新增、删除 catalog 都需要重启集群，这个生产环境里如果需要频繁增加数据源的场景是非常不友好的操作。 网上关于动态加载Catalog的方案有一些，但是在Trino比较新的版本里面已经无法适用。 目前官方关于这个功能一直都没有完成，详细issue Dyn ......
hadoop 问题集
1.Hadoop "Cannot create directory .Name node is in safe mode."解决方案 hadoop dfsadmin -safemode leave 2.本地eclipse连接外网Hadoop 通过查询发现，外网中的hadoop如果想要被外网访问，需要 ......
Apache Hive相关基础学习
# 1、Hive概念  使用Hive处理数据的好处： ![](https://img2023.cnblogs.com/ ......
kuboard部署在k8s集群中
kuboard部署在k8s集群中，yaml配置文件 ```shell #cat kuboard.yaml apiVersion: apps/v1 kind: Deployment metadata: labels: app: kuboard name: kuboard spec: replicas: ......
Weblogic集群部署
Weblogic集群部署 Weblogic包官方下载地址：https://www.oracle.com/cn/middleware/technologies/weblogic-server-downloads.html 服务规划： 我们使用2台设备进行搭建，其中一台设备上部署控制台管理节点和受管理节 ......
kubeadm 部署的集群升级教程
1、确定升级的集群版本，查看现有的集群版本 kubectl get nodes 2、执行如下命令确定升级的版本，目标版本是v1.27.4 yum list --showduplicates kubeadm --disableexcludes=kubernetes 3、升级master节点，所有mas ......
k1s 使用 nsenter 轻松实现调试 k8s 集群节点
## 调试宿主机 如果您的集群无外网，则无法下载基础镜像，需要设置内网镜像 ```sh export K1S_IMAGE="hub.local.io/alpine:lateset" ``` 基础操作命令： ```sh # 查看 node 列表 k1s no NAME STATUS ROLES AGE ......
Ubuntu 安装部署Kubernetes(k8s)集群
Ubuntu 安装部署Kubernetes(k8s)集群：Kubernetes概述，Kubernetes 组件，控制平面组件，Node组件，配置节点的基本环境，节点安装docker，并进行相关配置，安装kubelet，kubeadm，kubectl，kubeadm初始化，添加worker节点到k8s... ......
mysql复制技术、mysql集群
# mysql复制技术/mysql集群  ## 准备 1.四台虚拟机都关闭防火墙 ``` systemctl st ......