集群kubernetes sealos
sealos 添加node NotReady 处理
问题说明: 生产环境 K8s 1.24.0 版本 sealos 4.0.0 版本 操作系统 Centos 7.6 内核 5.4 出现问题: (prod 环境需要增加节点来应对线上业务的压力. 截止目前所有节点资源内存使用均在70%左右) 执行: sealos add --nodes 10.0.0.1 ......
1、Clickhouse 单节点与集群部署
一、单节点部署 1.1、修改文件描述符 vim /etc/security/limits.conf * soft nofile 65536 * hard nofile 65536 * soft nproc 131072 * hard nproc 131072 vim /etc/security/li ......
redis cluster 集群畅谈三 之 水平扩容、slave自动化迁移【转】
上一篇 redis cluster 集群畅谈二 , 主要讲解 实验多master写入、读写分离、实验自动故障切换(高可用性),那么本篇我们就来聊了聊redis cluster 水平扩容以及自动化 slave 迁移。 redis repliction 主从架构,一主多从更多的是为了提高 读QPS 。而 ......
redis主从复制、哨兵和集群
redis主从复制、哨兵和集群 一、redis持久化 1.1持久化的功能 Redis是内存数据库,数据都是存储在内存中,为了避免服务器断电等原因导致Redis进程异常退出后数据的永久丢失,需要定期将Redis中的数据以某种形式(数据或命令)从内存保存到硬盘; 当下次Redis重启时,利用持久化文件实 ......
kubeadm安装kubernetes
kubeadm安装kubernetes kubeadm 是官方社区推出的一个用于快速部署 kubernetes 集群的工具。 这个工具能通过两条指令完成一个 kubernetes 集群的部署: $ kubeadm init 创建一个master节点 $ kubeadm join 将一个 Node 节 ......
ELK+kafka集群部署
前言 业务层可以直接写入到kafka队列中,不用担心elasticsearch的写入效率问题。 消息系统主要功能 1、解耦 允许你独立的扩展或修改两边的处理过程,只要确保它们遵守同样的接口约束 2、冗余 消息队列把数据进行持久化直到它们已经被完全处理,通过这一方式规避了数据丢失风险。许多消息队列所采 ......
A0--集群基础环境
文件下载: ansible_v2.9.9 flink-1.16.0 hadoop-3.1.3 hive-3.1.3 kafka_2.13-3.3.1 python-3.8.10 spark-3.2.1 tools.tgz zookeeper-3.6.3 一、安装并配置ansible自动化工具 1)上 ......
hdfs集群的扩容和缩容
1、背景 当我们的hadoop集群运行了一段时间之后,原有的数据节点的容量已经不能满足我们的存储了,这个时候就需要往集群中增加新的数据节点。此时我们就需要动态的对hdfs集群进行扩容操作(节点服役)。 2、集群黑白名单 在hdfs集群中是存在黑名单和白名单的。 黑名单: 该文件包含不允许连接到nam ......
docker 部署mongoDB集群与读写分离
一.生成key文件 需要注意集群中所有机器都需要用同一个文件,否则会出现验证失败的情况 # 生成key openssl rand -base64 756 > /data/volume/mongodb/configdb/mongo.key # 设置访问权限 chmod 400 /data/volume ......
4、kubernetes的pod定义(非常重要)
1 apiVersion: v1 #必选,版本号,例如v1 2 kind: Pod #必选,资源类型,例如 Pod 3 metadata: #必选,元数据 4 name: string #必选,Pod名称namespace: string #Pod所属的命名空间,默认为"default" 5 lab ......
Redis哨兵和cluster集群
1、什么是哨兵模式哨兵模式:可以自动切换解决单点故障,但是不能负载均衡,存储能力受限制。 哨兵核心功能:在主从复制的基础上,实现了主节点的自动故障转移 2、哨兵的作用监控:监控主节点和从节点是否在正常运行 故障自动转移:当主节点不能正常工作时,哨兵会开始自动故障转移操作,它会将失效主节点的其中一个从 ......
决战圣地玛丽乔亚Day47----Redis集群
4.Redis Cluster 集群模式 如果单机吞吐量过大,我们可以横向和纵向进行扩展,横向就是加节点(scale out),纵向就是加配置(scale up)。 如果加配置,治标不治本,单机局限性和持久化问题无法解决(如轮式RDB快照还是AOF指令) 横向扩展更容易扩展,可以解决很多问题,包括单 ......
3、kubernetes各种port
K8s中nodePort、port、targetPort、hostPort介绍 1、nodeport 外部流量访问k8s集群中service入口的一个方式(还有一种是loadbalancer) nodeIP:nodePort 提供给外部流量访问k8s集群中service一个入口 比如外部用户要访问k ......
实战篇:使用rook在k8s上搭建ceph集群
写在开篇 “ 上一次,我发了一篇:《理论篇:让我们一起鲁克鲁克——rook(开源存储编排)》。这次,来一篇实战,使用rook在k8s上把ceph集群搞起来。后续,还会陆续分享如何对接k8s(作为k8s的后端存储)、以及分享一些在生产上的实践经验。 ” 环境规划 | 主机名 | IP | 角色 | 数 ......
2、kubernetes资源管理
四、资源管理介绍 k8s本质上是一个集群系统,用户可以在集群中部署各种服务,部署服务(其实就是在k8s集群中运行一个个容器,并将指定的程序跑在容器中) k8s的最小管理单元是pod不是容器,所以只能将容器放在pod中,而k8s一般不会直接管理pod,而是通过pod控制器来管理的pod的 pod可以提 ......
1h玩转kubernetes
学习k8s就跟学习office三件套上,95%的人只会5%,而5%的知识可以干95%的事情,所以不要觉的k8s难 1 kubernetes 1 什么是kubernetes Kubernetes 是一个可移植、可扩展的开源平台,一个分布式资源调度进行容器编排云原生的操作系统,用于管理容器化的工作负载和 ......
kubernetes证书介绍
kubernetes证书介绍 不管是二进制搭建还是kubeadm安装kubernetes集群都需要有证书,因为在Kubernetes 集群中通过证书才能进行基于 TLS 的身份验证;在Kubernetes 的组件之间进行通信时,数字证书的验证是在协议层面通过 TLS 完成的,除了需要在建立通信时提供 ......
redis集群简介
1.1 集群的概念 所谓的集群,就是通过添加服务器的数量,提供相同的服务,从而让服务器达到一个稳定、高效的状态。 1.1.1 使用redis集群的必要性 问题:我们已经部署好了redis,并且能启动一个redis,实现数据的读写,为什么还要学习redis集群? 答:(1)单个redis存在不稳定性。 ......
1、kubernetes概念
一、kubernetes简介 kubernetes的本质是一组服务器集群。它可以在每个节点上运行特定的程序,来对节点中的容器进行管理。目的是为了实现资源管理的自动化。 主要功能如下: 1、自我修复:一旦某个容器崩溃,会秒级启动一个新容器 2、弹性伸缩:可以根据业务需要,自动对集群中的容器数量进行伸缩 ......
kubernetes rabbimq3.11.11集群之mqtt插件
1. 概述 本文是总结给予k8s的rabbitmq3.11.11集群的mqtt搭建 rabbitmq集群搭建详见前一篇文章:kubernetes 集群部署rabbimq3.11.11 2. 自动创建mqtt账号密码 wrapper-entrypoint.sh #!/usr/bin/env bash ......
redis哨兵和集群
一、redis哨兵 主从切换技术的方法是:当服务器宕机后,需要手动一台从机切换为主机,这需要人工干预,不仅费时费力而且还会造成一段时间内服务不可用。为了解决主从复制的缺点,就有了哨兵机制。 哨兵的核心功能:在主从复制的基础上,哨兵引入了主节点的自动故障转移。 1、哨兵模式原理:哨兵(sentinel ......
kubernetes安装
环境: centos 7.9 安装步骤: 一、准备:(1、SELINUX 2、swap off 3、hosts 4、sysctl配置) setenforce 0sed -i 's/SELINUX=enforcing/SELINUX=disabled/g' /etc/sysconfig/selinux ......
Redis6 集群单机安装
Redis6 集群单机安装 官网下载 https://download.redis.io/releases/redis-6.2.6.tar.gz http://download.redis.io/redis-stable.tar.gz 文档参考 https://redis.io/documentat ......
第一章 1.2节 Kubeadm安装K8S高可用集群(二)
1.1 查看Token过期时间 执行下面命令查看所有Token: kubectl get secret -n kube-system 找到之前创建的new.yaml文件,进去查看使用的Token: [root@k8s-master01 ~]# cat new.yaml apiVersion: kub ......
PXC集群
主从架构存在的问题: 主从之间的同步,是异步完成,也就意味着这是 弱一致性。可能会导致,数据写入主库后,应用程序读取从库获取不到数据,或者可能会丢失数据,对于数据安全性要求比较高的应用是不合适的,该问题可以通过 PXC集群解决。 一、简介 Percona XtraDB Cluster(简称PXC)是 ......
Kubeadm安装k8s集群升级100年证书时报错:Unable to connect to the server: EOF:求解决方法.
报错信息: 使用命令时: Kubelet服务报错: 报错情况,在更新完k8s100年证书的时候,到最后重新启动kubelet服务的时候,服务是可以重新启动的,但是kubectl的命令是无法使用的,会等好长时间然后报出上面图片第一个的错误。还请各位大佬给出一些解决办法,实在是劳烦各位大佬了,自己找了好 ......
通过 docker-compose 快速部署 Hadoop 集群极简教程
前面那篇文章内容过多,可能小伙伴只是想快速部署,所以这里出了一个极简的部署教程,如果想了解详细部署过程,可以建议参考我上一篇的文章:通过 docker-compose 快速部署 Hadoop 集群详细教程 1)安装 docker # 安装yum-config-manager配置工具 yum -y i ......
Redis集群从节点无限循环同步故障
今天是清明节假日第一天,收到客户请求,我们的redis出问题了帮忙看看! 程序的报错日志提供如图 登录该套redis集群查看节点信息与集群状态 根据现场状态与监控,迅速做出判断与推理 第一时间内给出个人的建议:建议重启部分异常程序,业务全部恢复正常! 业务已经恢复了,那继续来修复这个fail的异常r ......
基于3.5.x 版本进行zookeeper 集群搭建
搭建 zk 3.5.x 版本的集群环境 本次搭建使用 3.5.7 版本的zk。 3.5.x 版本进行集群环境的搭建,本质其实和 3.4.x 是没有太大区别的。 但是 3.5.x 的集群环境支持动态的扩缩容,因此 在配置文件方面,将集群节点的配置单独抽取出来了,存放到一个 zoo.cfg.dynami ......
基于3.4.x 版本进行zookeeper 集群搭建
搭建一主二从 三个节点 zookeeper 集群环境 *** 使用 zk 的 3.4.13 的版本 *** 注意:对于 zk , 3.4 版本和3.5 版本集群环境是有一些区别的。 3.5 版本以后使用的是动态集群模式,支持集群的动态扩缩容。(可以在不重启的情况下,实现集群的扩容,缩容) 本集群搭建 ......