集群hadoop hive
Hive安装与启动
## 一、mysql安装 在配置Hive之前一般都需要安装和配置MySQL，因为Hive为了能操作HDFS上的数据集，那么他需要知道数据的切分格式，如行列分隔符，存储类型，是否压缩，数据的存储地址等信息。 为了方便以后操作所以他需要将这些信息通过一张表存储起来，然后将这张表（元数据）存储到mysql ......
本地 IDC 中的 K8s 集群如何以 Serverless 方式使用云上计算资源
如果您不想维护云上节点池，您可以选择 Serverless 方式使用阿里云 ECI 弹性容器实例运行业务 Pod，更加高效弹性的使用云上 CPU/GPU 资源。 ......
go语言试操作k8s集群
# 连接k8s k8s连接都是需要认证的 认证方式有很多种 这里采用最简单的配置文件的方式 可以重新生成配置文件 这里测试，所以，直接将master节点上的admin.conf文件拿着用 位置在 `/etc/kubernetes/admin.conf` 连接部分的代码 ```go func Test ......
hadoop学习笔记
hadoop之MapReduce的学习虽然目前的框架里已经很少用到但是底层的思想还是可以借鉴。 MapReduce分为map阶段和reduce阶段，map阶段即是将数据进行搜集，reduce即是将数据进行分发，例如wordcount命令，首先将单词进行按照一定规则处理，例如分割，然后按照首字母排序， ......
史上最全Hive面试题，高薪必备，架构必备
文章很长，且持续更新，建议收藏起来，慢慢读！[**疯狂创客圈总目录 博客园版**](https://www.cnblogs.com/crazymakercircle/p/9904544.html) 为您奉上珍贵的学习资源 ： 免费赠送 :[**《尼恩Java面试宝典》**](https://www. ......
Jenkins 添加 K8S 集群
## `Jenkins` 添加 `K8S` 集群 > 依赖 `K8S` 集群和 `StorageClass` ### 部署 Jenkins 服务 * 创建 PVC ```yaml # jenkins.yaml apiVersion: v1 kind: PersistentVolumeClaim me ......
docker部署zabbix 6.0高可用集群实验
# 0 实验环境 虚拟机，postgresql本地部署，zabbix server及nginx容器部署 # 1 postgresql 参看前作 [《postgresql + timescaledb离线安装笔记》](https://www.cnblogs.com/virtualzzf/p/172726 ......
GuassDB(for openGauss)集中式集群搭建及使用
GuassDB(for openGauss)集中式集群搭建及使用 首页 >> GuassDB(for openGauss)集中式集群搭建及使用 详细流程查看 ( GaussDBInstaller_V1.0.3.2脚本安装使用说明书 ) 即可, 本文重点阐述实际安装过程中的要点。 1.系统及配置 安装 ......
Redis学习(Redis分片集群)
# Redis分片集群 Redis主从虽然解决了高可用，高并发读的问题，但是依然有问题没有解决 + 海量数据存储 + 高并发写 分片集群特征 + 集群中有多个master，每个master保持不同数据 + 每个master都可以有多个slave节点 + master之间通过ping监测彼此健康状态 ......
使用percona pbm恢复到另一个mongod replica set集群
【环境说明】 mongodb replica set (备份文件) + percona-backup-mongodb-2.2.0 【mongodb数据库异库恢复操作】 数据库备份及恢复都很重要，需要将mongodb replica set集群备份文件异地恢复到另一个mongodb replica s ......
OLAP系列之分析型数据库clickhouse集群部署(二)
一、环境准备 IP 配置 clickhouse版本 zookeeper版本 myid 192.168.12.88 Centos 7.9 4核8G 22.8.20.11 3.7.1 3 192.168.12.90 Centos 7.9 4核8G 22.8.20.11 3.7.1 2 192.168.1 ......
k8s 学习笔记之集群安装
> 由于 kubernetes 的官方镜像部署在国外，所以可以使用国内镜像 ### 准备集群镜像 ``` # 在安装 k8s 集群之前，必须要提前准备好集群需要的镜像，所需镜像可以通过下面命令查看 [root@master ~]# kubeadm config images list # 下载镜像 ......
k8s 学习笔记之集群网络插件安装
我们在安装完集群后，通过`kubectl get nodes`命令获取节点，可以看到所有节点都处于`Not Ready`的状态，这是没有安装网络插件导致的。 ### 安装网络插件 kubernetes 支持多种网络插件，比如 flannel、calico、canal 等等，任选一种使用即可，本次选择 ......
k8s 学习笔记之安装集群所需组件
### 安装 docker ``` # 1 切换镜像源 [root@master ~]# wget https://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo -0 /etc/yum.repos.d/docker-ce.repo ......
helm安装mysql8.0集群模式
1.安装operator：MysqlCluster 2.使用operator安装mysql8.0集群 CREATE USER 'root' IDENTIFIED BY '134er6'; ALTER USER 'root'@'%' IDENTIFIED BY 'Qwer#@!'; apiVersio ......
zookeeper集群部署
ZooKeeper集群提供了高可用性和一致性，可以用于实现分布式锁、选举、配置管理等功能。在生产环境中，建议至少使用3个或更多的ZooKeeper节点以实现容错性和高可用性。 一、环境准备 准备至少3台服务器，分别安装上JKD ，3台服务器可以相互通讯 192.168.3.100 192.168.3 ......
sql 练习（hive，spqrk）
# 数据准备 ## 表1 课程表（course） | ***\*字段名\**** | ***\*数据类型\**** | | | | | 课程编号（CNO） | string | | 课程名称（CNAME） | string | | 教室编号（TNO） | string | ## 表2 成绩表（sco ......
【随手记录】docker swarm集群快速创建
创建集群主节点： docker swarm init --advertise-addr=192.168.31.184#advertise-addr 主节点IP#同时默认会创建一个ignress网络，这个不能删，如果容器端口映射到外面，则容器会默认加入到这个ignress网络里,如果删除了，存在需要对 ......
Redis集群搭建
Redis集群是Redis提供的一种高可用性和容错性解决方案，它通过将数据分片存储在多个节点上来实现数据的自动分布和负载均衡。 要搭建Redis集群，可以按照以下步骤进行操作。 一、准备服务器 这以3台服务器为例，分别 192.168.3.100 node1 192.168.3.102 node3 ......
docker-compose单体服务部署minio集群
docker-compose单体服务部署minio集群 #docker-compose.yaml version: "3" # starts 4 docker containers running minio server instances. Each # minio server's web i ......
Rancher 2.5 部署单节点 k8s 集群，
来源： https://juejin.cn/post/6985067777329463327 1. Rancher 简介 Rancher 是为使用容器的公司打造的容器管理平台。Rancher 简化了使用 Kubernetes 的流程，开发者可以随处运行 Kubernetes（Run Kubernet ......
galera集群第一个节点启动失败
若数据库集群未按照正常顺序（galera3/2/1）关闭，在运行galera_new_cluster启动第一个节点时报错，意思是该节点不是最后一个停掉的，不能安全启动。 解决办法： 1、可以尝试在galera2或galera3节点运行galera_new_cluster。 2、如果上述执行后报错都相 ......
Sqoop 数据导入hive size大小如何控制？
描述：sqoop 从 hana 导入数据到 hive，数据量1300万，当 设置参数 -m 7 时，产生7个文件，但只有 3 个有数据，且大小不一，600多m，300dm，40m，修改参数为 -m 5，文件变成了5个，但是有数据的还是那三个，奇怪 该如何控制文件大小接近块大小。 修改 -m 1时，倒 ......
Centos7 安装部署 Kubernetes(k8s) 高可用集群
Centos7 安装部署 Kubernetes(k8s) 高可用集群：配置机器基本环境，部署haproxy负载均衡器，部署etcd集群，部署Kubernetes(k8s) master HA，配置docker，安装kubelet，kubeadm，kubectl，kubeadm初始化，添加master... ......
集群监管-USDP(智能大数据平台)
UCloud Smart Data Platform（简称 USDP），是 UCloud 推出的智能化、轻量级、适用于私有化部署至客户本地的大数据基础服务平台，通过自研的 USDP Manager 管理工具，支持用户创建大数据集群，在集群中部署 Hadoop、Hive、HBase、Spark、Fli ......
hadoop安装
# hadoop安装 ## 零、hadoop启动命令 ```shell start-all.sh start-dfs start-yarn hadoop-deamons.sh yarn-deamons.sh hadoop-deamon.sh yarn-deamon.sh mr-jobhistorys ......
通过CM集群管理的openGauss数据库选主策略
通过CM集群管理的openGauss数据库选主策略 前提条件：集群内参与选主的备实例数量超过集群实例总数的一半 细分策略： (1)cma会尝试拉起数据库集群原始主实例，6s内成功拉起则无需新一轮仲裁 (2)local_term最大的 (3)local_last_xlog_location最大的 ......
minio集群部署，4台服务器+1台nginx
4台主机+1台nginx负载均衡分布式Minio里所有的节点需要有同样的access秘钥和secret秘钥，即：用户名和密码分布式Minio存放数据的磁盘目录必须是空目录分布式Minio官方建议生产环境最少4个节点，因为有N个节点，得至少保证有N/2的节点才能可读，保证至少N/2+1的节点才能可写。 ......
用docker搭建自己的node服务器集群
1.配置java环境，并提交镜像： ```sh # 1.解析jdk的包到 /usr/local/java 下： # 2.并配置java环境 [root@07e065a05df9 /]# vim /etc/profile.d/my_env.sh # JAVA_HOME export JAVA_HOME ......