集群hadoop hive
Zabbix Server 6.0 LTS 原生高可用HA集群部署 - On Debian11
官方文档里面说明，Zabbix Server HA 最少需要两个节点，多台Zabbix server作为集群中的节点运行。 当集群中的一个Zabbix server 处于`active` 时，其他服务器处于`standy`，随时准备在必要时接管。 无论集群的节点数量有多少，只有一个节点实例是出于`A ......
Hive SQL之表与建表
数据类型： 建表 create database itheima; --1.创建一张表 -- 表名 --字段 名称 类型 顺序 --字段之间的分隔符 create table itheima.t_archer( id int, name string , hp_max int, mp_max int ......
HA高可用 --- HDFS-HA集群配置
(一)环境准备 修改IP 修改主机名及主机名和IP地址的映射 关闭防火墙 ssh免密登录 安装JDK，配置环境变量等 (二)规划集群 看出我们将NameNode分布到两台机器上，保证集群的高可用性 hadoop102hadoop103hadoop104 NameNode NameNode Journ ......
多节点高性能计算GPU集群的构建
建议参考原文： https://www.volcengine.com/docs/6535/78310 一直都在使用超算的GPU集群，但是从来没有实际操作过，虽然在自己的个人的三台主机上安装过小型的MPI集群，但是毕竟没有实际超算平台的构建经验，比如NCCL的超算平台上的安装及配置，InfiniBan ......
k8s中如何固定一个pod的IP地址？该集群网络插件是calico
1、首先查看calico的CIDR地址范围 [root@nccztsjb-node-17 ~]# calicoctl get ippool NAME CIDR SELECTOR default-pool 172.23.0.0/16 all() 2、然后呢，在这个地址范围内，给pod选择一个固定的IP ......
Kafka集群数据同步 MirrorMaker详解
1、什么是MirrorMaker？ MirrorMaker是Kafka附带的一个用于在Kafka集群之间制作镜像数据的工具。该工具主要作用是从源集群中消费并生产到目标集群。 一个集群可以启动多个MirrorMaker配置到多个Kafka集群； 2、如果想在Kafka测试集群，同步线的Kafka数据， ......
集群空间不足调试
1、df -h 查看文件系统磁盘空间使用情况。当前是85% 2、du -sh查看当前目录占用空间。当前目录29G 3、集群镜像存放目录。cd /data01/datafocus/k8s/images 4、加载指定的镜像 5、系统备份 6、备份路径 ......
高可用（HA）集群之pacemaker+corosync【转】
高可用（HA）集群之pacemaker+corosync方案_51CTO博客_corosync pacemakerhttps://blog.51cto.com/liheng1815/5637598 高可用集群corosync+pacemaker之crmsh使用（一） - Linux-1874 - 博 ......
主机集群chrony 时间同步服务配置
背景:centos7+ 支持chrony 时间同步配置，centos8 不支持ntp 时间同步，chrony 配置比ntp 更简单高效 1、chrony server 端配置如下配置需要修改 cat /etc/chrony.conf server 192.168.111.14 iburst #首先注 ......
k8s集群防“雪崩”
限制容器在node节点上的资源占用。 1. 节点信息总览1.1 master 信息输出如下“Capacity"和"Allocatable” 处可见，资源全部被允许被分配，即没有预留： [root@devops-master ~]# kubectl describe nodes devops-mast ......
centos7 用docker 部署 nacos集群--以mysql持久化--以nginx代理
创建一个文件夹，把四个配置文件放进去，然后运行：docker compose -f -d nacos.yml up mysql-schema.sql nacos.confnacos.envnacos.yml mysql-schema.sql 内容： /* * Copyright 1999-2018 ......
数据仓库——Hive
数据仓库：是一个用于储存，分析，报告的数据系统 数据仓库的目的是构建面向分析的集成化数据环境，分析结果为企业提供决策支持 数仓专注分析 数据仓库仓库为何而来，解决什么问题的？ 为了分析数据而来，分析结果给企业决策提供支撑。 ......
MySQL PXC集群新增一个高版本节点
已有的一个 MySQL PXC 集群环境，因为种种原因仅剩一个节点 node1，需要新增一个集群节点 node2。 node1 版本：donor version (8.0.21) node2 版本：local version (8.0.32) 大致步骤： 1、node2 配置部署新版本的集群环境； ......
nginx实现服务器端集群搭建（五）
nginx与tomcat部署 环境准备(tomcat) 1.准备Tomcat环境，并在Tomcat上部署一个web项目 2.准备Nginx环境，使用Nginx接收请求，并把请求分发到Tomat上3、浏览器访问：http://192.168.200.146:8080/demo/index.html 获 ......
k8s上搭建elasticsearch单节点集群（固定存储）
因为Elasticsearch需要保持数据在固定的磁盘上，属于有状态的应用服务，因此采用k8s的StatefulSet模式部署。 创建PersistentVolumes和Claim #es-persistent-volume.yaml apiVersion: v1 kind: PersistentV ......
hadoop hive hbase
公司报表是基于数仓开发的，分层是ods>dwd>dwm>dm，sqoop再同步到传统数据库，帆软展示，或tableau展示，这块涉及的是离线计算。 记录下大数据开发设计的概念： 1、hadoop：分布式计算（MapReduce）+分布式文件系统（HDFS），后者可以独立运行，前者可以选择性使用，也可 ......
k8s使用token访问集群apiserver
``` export TOKEN=eyJhbGciOiJSUzI1NiIsImtpZCI6InRjMEs2b2tyVUFjdHZuazNTS1VrM0s3LWFHMlVjek5NTUJnVUVSTTVHQnMifQ.eyJpc3MiOiJrdWJlcm5ldGVzL3NlcnZpY2VhY2NvdW ......
HIVE中对于时间变换的处理
### 一、获取月份第一天/最后一天 ``` --需求一：获取月份第一天/最后一天 --方式一：last_day --获取当月第一天 select date_add(last_day(add_months('2020-06-14',-1)),1); --获取当月最后一天 select last_da ......
集群
Redis Cluster搭建部署详解 : https://suyu.net/post/103.html; Nginx+keepalived 高可用集群 : https://www.cnblogs.com/wenxuehai/p/15013654.html; keepalived 介绍: https ......
现有K8S集群加入master节点（移除后加入）
现象：后加入master节点报错 error execution phase control-plane-prepare/download-certs: error downloading certs: the Secret does not include the required certifi ......
Redis 集群偶数节点跨地域部署之高可用测试
笔者目前所在公司存在多套 Redis 集群： * A 集群 主 + 从 共 60 个分片，部署在 3 + 3 台物理机上，每台机器各承载 10 个端口 * 主库 30 个端口在广州，从库 30 个端口在中山 * B 集群共 72 个端口，部署架构一模一样 上云后，均为广东的某个云厂商的 2 个可用区 ......
搭建k8s集群
一、k8s master部署 Master节点上会运行的组件： etcd,kube-apiserver,kube-controller-manager,kuctl,kubeadm.kubelet,kube-proxy,flannel,docker Kubeadm,官方k8s一键部署工具 Flanne ......
OLAP系列之分析型数据库clickhouse集群扩缩容(三)
一、集群缩容 1.1 下线节点 步骤：1.对外停止服务2.转移数据3.修改剩余节点配置4.通知客户端修改节点列表 # 修改90，91服务器配置文件 vim /etc/clickhouse-server/conf.d/metrika.xml 中注释掉第3个shard <remote_servers> ......
MGR 主备集群实现异步连接故障转移
## 1.概述 **MySQL 8.0.22 开始**，支持异步连接故障切换机制，在现有主从复制连接失败后，自动建立到新主的异步复制连接。 **MySQL 8.0.23 开始**，异步连接故障切换机制还支持组复制拓扑，通过自动监视组成员身份的更改并区分主节点和从节点，在组复制主节点故障选出新主节点后 ......
大数据面试题集锦-Hadoop面试题(五)-优化
> 你准备好面试了吗?这里有一些面试中可能会问到的问题以及相对应的答案。如果你需要更多的面试经验和面试题，关注一下"张飞的猪大数据分享"吧，公众号会不定时的分享相关的知识和资料。 ## 1、MapReduce优化方法 1）数据输入 （1）合并小文件：在执行mr任务前将小文件进行合并，大量的小文件会产 ......