集群kubernetes sealos

sealos 添加node NotReady 处理

问题说明: 生产环境 K8s 1.24.0 版本 sealos 4.0.0 版本 操作系统 Centos 7.6 内核 5.4 出现问题: (prod 环境需要增加节点来应对线上业务的压力. 截止目前所有节点资源内存使用均在70%左右) 执行: sealos add --nodes 10.0.0.1 ......
NotReady sealos node

1、Clickhouse 单节点与集群部署

一、单节点部署 1.1、修改文件描述符 vim /etc/security/limits.conf * soft nofile 65536 * hard nofile 65536 * soft nproc 131072 * hard nproc 131072 vim /etc/security/li ......
节点 集群 Clickhouse

redis cluster 集群畅谈三 之 水平扩容、slave自动化迁移【转】

上一篇 redis cluster 集群畅谈二 , 主要讲解 实验多master写入、读写分离、实验自动故障切换(高可用性),那么本篇我们就来聊了聊redis cluster 水平扩容以及自动化 slave 迁移。 redis repliction 主从架构,一主多从更多的是为了提高 读QPS 。而 ......
集群 水平 cluster redis slave

redis主从复制、哨兵和集群

redis主从复制、哨兵和集群 一、redis持久化 1.1持久化的功能 Redis是内存数据库,数据都是存储在内存中,为了避免服务器断电等原因导致Redis进程异常退出后数据的永久丢失,需要定期将Redis中的数据以某种形式(数据或命令)从内存保存到硬盘; 当下次Redis重启时,利用持久化文件实 ......
主从 哨兵 集群 redis

kubeadm安装kubernetes

kubeadm安装kubernetes kubeadm 是官方社区推出的一个用于快速部署 kubernetes 集群的工具。 这个工具能通过两条指令完成一个 kubernetes 集群的部署: $ kubeadm init 创建一个master节点 $ kubeadm join 将一个 Node 节 ......
kubernetes kubeadm

ELK+kafka集群部署

前言 业务层可以直接写入到kafka队列中,不用担心elasticsearch的写入效率问题。 消息系统主要功能 1、解耦 允许你独立的扩展或修改两边的处理过程,只要确保它们遵守同样的接口约束 2、冗余 消息队列把数据进行持久化直到它们已经被完全处理,通过这一方式规避了数据丢失风险。许多消息队列所采 ......
集群 kafka ELK

A0--集群基础环境

文件下载: ansible_v2.9.9 flink-1.16.0 hadoop-3.1.3 hive-3.1.3 kafka_2.13-3.3.1 python-3.8.10 spark-3.2.1 tools.tgz zookeeper-3.6.3 一、安装并配置ansible自动化工具 1)上 ......
集群 环境 基础 A0

hdfs集群的扩容和缩容

1、背景 当我们的hadoop集群运行了一段时间之后,原有的数据节点的容量已经不能满足我们的存储了,这个时候就需要往集群中增加新的数据节点。此时我们就需要动态的对hdfs集群进行扩容操作(节点服役)。 2、集群黑白名单 在hdfs集群中是存在黑名单和白名单的。 黑名单: 该文件包含不允许连接到nam ......
集群 hdfs

docker 部署mongoDB集群与读写分离

一.生成key文件 需要注意集群中所有机器都需要用同一个文件,否则会出现验证失败的情况 # 生成key openssl rand -base64 756 > /data/volume/mongodb/configdb/mongo.key # 设置访问权限 chmod 400 /data/volume ......
集群 mongoDB docker

4、kubernetes的pod定义(非常重要)

1 apiVersion: v1 #必选,版本号,例如v1 2 kind: Pod #必选,资源类型,例如 Pod 3 metadata: #必选,元数据 4 name: string #必选,Pod名称namespace: string #Pod所属的命名空间,默认为"default" 5 lab ......
kubernetes pod

Redis哨兵和cluster集群

1、什么是哨兵模式哨兵模式:可以自动切换解决单点故障,但是不能负载均衡,存储能力受限制。 哨兵核心功能:在主从复制的基础上,实现了主节点的自动故障转移 2、哨兵的作用监控:监控主节点和从节点是否在正常运行 故障自动转移:当主节点不能正常工作时,哨兵会开始自动故障转移操作,它会将失效主节点的其中一个从 ......
哨兵 集群 cluster Redis

决战圣地玛丽乔亚Day47----Redis集群

4.Redis Cluster 集群模式 如果单机吞吐量过大,我们可以横向和纵向进行扩展,横向就是加节点(scale out),纵向就是加配置(scale up)。 如果加配置,治标不治本,单机局限性和持久化问题无法解决(如轮式RDB快照还是AOF指令) 横向扩展更容易扩展,可以解决很多问题,包括单 ......
集群 Redis Day 47

3、kubernetes各种port

K8s中nodePort、port、targetPort、hostPort介绍 1、nodeport 外部流量访问k8s集群中service入口的一个方式(还有一种是loadbalancer) nodeIP:nodePort 提供给外部流量访问k8s集群中service一个入口 比如外部用户要访问k ......
kubernetes port

实战篇:使用rook在k8s上搭建ceph集群

写在开篇 “ 上一次,我发了一篇:《理论篇:让我们一起鲁克鲁克——rook(开源存储编排)》。这次,来一篇实战,使用rook在k8s上把ceph集群搞起来。后续,还会陆续分享如何对接k8s(作为k8s的后端存储)、以及分享一些在生产上的实践经验。 ” 环境规划 | 主机名 | IP | 角色 | 数 ......
集群 实战 rook ceph k8s

2、kubernetes资源管理

四、资源管理介绍 k8s本质上是一个集群系统,用户可以在集群中部署各种服务,部署服务(其实就是在k8s集群中运行一个个容器,并将指定的程序跑在容器中) k8s的最小管理单元是pod不是容器,所以只能将容器放在pod中,而k8s一般不会直接管理pod,而是通过pod控制器来管理的pod的 pod可以提 ......
kubernetes 资源管理 资源

1h玩转kubernetes

学习k8s就跟学习office三件套上,95%的人只会5%,而5%的知识可以干95%的事情,所以不要觉的k8s难 1 kubernetes 1 什么是kubernetes Kubernetes 是一个可移植、可扩展的开源平台,一个分布式资源调度进行容器编排云原生的操作系统,用于管理容器化的工作负载和 ......
kubernetes

kubernetes证书介绍

kubernetes证书介绍 不管是二进制搭建还是kubeadm安装kubernetes集群都需要有证书,因为在Kubernetes 集群中通过证书才能进行基于 TLS 的身份验证;在Kubernetes 的组件之间进行通信时,数字证书的验证是在协议层面通过 TLS 完成的,除了需要在建立通信时提供 ......
kubernetes 证书

redis集群简介

1.1 集群的概念 所谓的集群,就是通过添加服务器的数量,提供相同的服务,从而让服务器达到一个稳定、高效的状态。 1.1.1 使用redis集群的必要性 问题:我们已经部署好了redis,并且能启动一个redis,实现数据的读写,为什么还要学习redis集群? 答:(1)单个redis存在不稳定性。 ......
集群 简介 redis

1、kubernetes概念

一、kubernetes简介 kubernetes的本质是一组服务器集群。它可以在每个节点上运行特定的程序,来对节点中的容器进行管理。目的是为了实现资源管理的自动化。 主要功能如下: 1、自我修复:一旦某个容器崩溃,会秒级启动一个新容器 2、弹性伸缩:可以根据业务需要,自动对集群中的容器数量进行伸缩 ......
kubernetes 概念

kubernetes rabbimq3.11.11集群之mqtt插件

1. 概述 本文是总结给予k8s的rabbitmq3.11.11集群的mqtt搭建 rabbitmq集群搭建详见前一篇文章:kubernetes 集群部署rabbimq3.11.11 2. 自动创建mqtt账号密码 wrapper-entrypoint.sh #!/usr/bin/env bash ......
集群 kubernetes 插件 rabbimq3 rabbimq

redis哨兵和集群

一、redis哨兵 主从切换技术的方法是:当服务器宕机后,需要手动一台从机切换为主机,这需要人工干预,不仅费时费力而且还会造成一段时间内服务不可用。为了解决主从复制的缺点,就有了哨兵机制。 哨兵的核心功能:在主从复制的基础上,哨兵引入了主节点的自动故障转移。 1、哨兵模式原理:哨兵(sentinel ......
哨兵 集群 redis

kubernetes安装

环境: centos 7.9 安装步骤: 一、准备:(1、SELINUX 2、swap off 3、hosts 4、sysctl配置) setenforce 0sed -i 's/SELINUX=enforcing/SELINUX=disabled/g' /etc/sysconfig/selinux ......
kubernetes

Redis6 集群单机安装

Redis6 集群单机安装 官网下载 https://download.redis.io/releases/redis-6.2.6.tar.gz http://download.redis.io/redis-stable.tar.gz 文档参考 https://redis.io/documentat ......
集群 单机 Redis6 Redis

第一章 1.2节 Kubeadm安装K8S高可用集群(二)

1.1 查看Token过期时间 执行下面命令查看所有Token: kubectl get secret -n kube-system 找到之前创建的new.yaml文件,进去查看使用的Token: [root@k8s-master01 ~]# cat new.yaml apiVersion: kub ......
集群 Kubeadm 1.2 K8S K8

PXC集群

主从架构存在的问题: 主从之间的同步,是异步完成,也就意味着这是 弱一致性。可能会导致,数据写入主库后,应用程序读取从库获取不到数据,或者可能会丢失数据,对于数据安全性要求比较高的应用是不合适的,该问题可以通过 PXC集群解决。 一、简介 Percona XtraDB Cluster(简称PXC)是 ......
集群 PXC

Kubeadm安装k8s集群升级100年证书时报错:Unable to connect to the server: EOF:求解决方法.

报错信息: 使用命令时: Kubelet服务报错: 报错情况,在更新完k8s100年证书的时候,到最后重新启动kubelet服务的时候,服务是可以重新启动的,但是kubectl的命令是无法使用的,会等好长时间然后报出上面图片第一个的错误。还请各位大佬给出一些解决办法,实在是劳烦各位大佬了,自己找了好 ......
集群 时报 证书 Kubeadm connect

通过 docker-compose 快速部署 Hadoop 集群极简教程

前面那篇文章内容过多,可能小伙伴只是想快速部署,所以这里出了一个极简的部署教程,如果想了解详细部署过程,可以建议参考我上一篇的文章:通过 docker-compose 快速部署 Hadoop 集群详细教程 1)安装 docker # 安装yum-config-manager配置工具 yum -y i ......
集群 docker-compose compose 教程 docker

Redis集群从节点无限循环同步故障

今天是清明节假日第一天,收到客户请求,我们的redis出问题了帮忙看看! 程序的报错日志提供如图 登录该套redis集群查看节点信息与集群状态 根据现场状态与监控,迅速做出判断与推理 第一时间内给出个人的建议:建议重启部分异常程序,业务全部恢复正常! 业务已经恢复了,那继续来修复这个fail的异常r ......
节点 集群 故障 Redis

基于3.5.x 版本进行zookeeper 集群搭建

搭建 zk 3.5.x 版本的集群环境 本次搭建使用 3.5.7 版本的zk。 3.5.x 版本进行集群环境的搭建,本质其实和 3.4.x 是没有太大区别的。 但是 3.5.x 的集群环境支持动态的扩缩容,因此 在配置文件方面,将集群节点的配置单独抽取出来了,存放到一个 zoo.cfg.dynami ......
集群 zookeeper 版本

基于3.4.x 版本进行zookeeper 集群搭建

搭建一主二从 三个节点 zookeeper 集群环境 *** 使用 zk 的 3.4.13 的版本 *** 注意:对于 zk , 3.4 版本和3.5 版本集群环境是有一些区别的。 3.5 版本以后使用的是动态集群模式,支持集群的动态扩缩容。(可以在不重启的情况下,实现集群的扩容,缩容) 本集群搭建 ......
集群 zookeeper 版本