集群kubeadm k8s k8

前言 本文主要讲述在 Linux 系统中配置和部署 Redis 主从集群和哨兵，实现高可用和自动故障迁移。 准备工作 参考 Redis 单机部署 安装 3 个 Redis 服务作一主二从，本文准备了 6380(主)、6381(从) 和 6382(从)。 参考 Redis 单机部署 安装 3 个 Re ......

前言 本文讲述在 Linux 系统部署 Redis Cluster 实现数据分片的具体步骤。 请参考 Redis 单机部署 下载编译。 Redis Cluster是什么？ Redis Cluster 是官方提供的一种用数据分片来实现横向扩容的解决方案，由一个或多个 Redis 服务组成一个无主集群。 ......

前言 目前解决分布式系统下数据强一致性的主要算法理论是Paxos和Raft，偏向CAP定理一致性（Consistency）、可用性（Availability）、分区容错性（Partition tolerance）中的CP。 Raft在容错和性能方面和Paxos相当，不同之处在于它将问题分解成相对独立 ......

重点： 主从复制：主从复制是高可用redis的基础，主从复制主要实现了数据的多机备份，以及对于读操作的负载均衡和简单的故障恢复。 哨兵和集群都是在主从复制基础上实现高可用的。 缺点：故障恢复无法自动化，写操作无法负载均衡，存储能力受到单机的限制。 哨兵：在主从复制的基础上，哨兵实现了自动化的故障恢复 ......

无感知导致的问题 当我们在K8s中Deployments配置资源限制和预留的时候，比如设置最大内存为500M。但是宿主机的总内存为8G，这时候Pod启动后会超出内存限制，被Deployments杀掉。但为了维护设置的副本数量又创建新的，如此反复。 原因是默认情况JVM默认最大堆空间为系统总内存的1/ ......

1. Cluster 分片集群 1.1 Cluster 集群的结构和作用 redis 哨兵模式虽然提供了 redis⾼可⽤、高并发读的解决方案，但是在海量数据应用场景下，仍然存在海量数据存储问题和高并发写的问题。当只有⼀个 Master 对外提供服务时，如果数据量特别⼤，内存占⽤问题严重，数据的高并 ......

问题描述 由于MySQL PXC集群的所有节点均可读写，因此当PXC集群中节点增加和减少时，PXC集群会自动调整集群各节点的自增ID步长，避免不同集群节点生成相同自增ID值产生冲突。 当PXC集群中读节点数量发生变化时，客户端执行BatchInsert方法可能返回错误的自增ID值。 问题原因 由于M ......

sealos 是一个很不错的k8s 部署工具，内部实际上也是基于了kubeadm ，但是sealos 做了不少方便的扩展 比如自己搞了一层基于lvs 的ha ，可以简化我们k8s 环境ha 的问题（但是如果需要外部访问还是需要一层ha 方案的） 同时sealos 提供了自己的一套容器镜像仓库，离线部 ......

1.k8s (提前下载镜像) kubeadm reset kubeadm init 最好可以指定version cp -i admin.conf $HOME/.kube/config chown $(id -u):$(id -g) $HOME/.kube/config 2. calico(提前下载镜 ......

其实没什么好说的，搭环境搞了一整天，人已经麻了，踩了很多坑，网上教程的版本大都比较旧，总是和最新版本各种地方不兼容，把坑踩完了，k8s目前最新的版本是v1.26，跟着命令敲就行了，我已经重复部署了很多次了，坑已经排完了.... 我试验的是1主2从结构，centos 2c2g 就足够。 1 系统环境准 ......

服务调用 1.给pod proxyy添加一个service即可映射 创建一个端口映射 都会创建一个对应的service 服务测试 启用一个busybox pod来对集群中的网络进行调试 正确配置busybox的pod ......

#################### 开启归档日志： shutdown immediate; startup mount; alter database archivelog; alter database open; archive log list # 更改归档目录路径log_archive ......

一、单节点部署 1.1、修改文件描述符 vim /etc/security/limits.conf * soft nofile 65536 * hard nofile 65536 * soft nproc 131072 * hard nproc 131072 vim /etc/security/li ......

1、调度体系 1.1、流程图 1.1.1、架构层面-集群的组成 1.1.2、资源层面-k8s集群资源的管控 1.1.3、网络层面 - k8s集群资源的访问 1.1.4、认证层面-k8s集群资源的认证 1.1.5、pod周期-pod创建的完整流程 1.1.6、pod创建流程 1.1.7、存储层面 1. ......

上一篇 redis cluster 集群畅谈二 ， 主要讲解 实验多master写入、读写分离、实验自动故障切换（高可用性），那么本篇我们就来聊了聊redis cluster 水平扩容以及自动化 slave 迁移。 redis repliction 主从架构，一主多从更多的是为了提高 读QPS 。而 ......

redis主从复制、哨兵和集群 一、redis持久化 1.1持久化的功能 Redis是内存数据库，数据都是存储在内存中，为了避免服务器断电等原因导致Redis进程异常退出后数据的永久丢失，需要定期将Redis中的数据以某种形式(数据或命令)从内存保存到硬盘; 当下次Redis重启时，利用持久化文件实 ......

kubeadm安装kubernetes kubeadm 是官方社区推出的一个用于快速部署 kubernetes 集群的工具。 这个工具能通过两条指令完成一个 kubernetes 集群的部署： $ kubeadm init 创建一个master节点 $ kubeadm join 将一个 Node 节 ......

前言 业务层可以直接写入到kafka队列中，不用担心elasticsearch的写入效率问题。 消息系统主要功能 1、解耦 允许你独立的扩展或修改两边的处理过程，只要确保它们遵守同样的接口约束 2、冗余 消息队列把数据进行持久化直到它们已经被完全处理，通过这一方式规避了数据丢失风险。许多消息队列所采 ......

文件下载： ansible_v2.9.9 flink-1.16.0 hadoop-3.1.3 hive-3.1.3 kafka_2.13-3.3.1 python-3.8.10 spark-3.2.1 tools.tgz zookeeper-3.6.3 一、安装并配置ansible自动化工具 1）上 ......

Kubernetes学习目录 1、基础知识 1.1、k8s策略 1.1.1、想象中的策略 到现在为止，我们之前操作过的k8s资源对象中，跟策略相关的无非就是 权限认证 - 权限认证主要是与用户登录和资源使用有关系 命名空间 - 命名空间可以将我们相关的资源进行隔离，但是我们可以通过 "命名空间.资源 ......

1、背景 当我们的hadoop集群运行了一段时间之后，原有的数据节点的容量已经不能满足我们的存储了，这个时候就需要往集群中增加新的数据节点。此时我们就需要动态的对hdfs集群进行扩容操作(节点服役)。 2、集群黑白名单 在hdfs集群中是存在黑名单和白名单的。 黑名单： 该文件包含不允许连接到nam ......

[K8S系列四] K8S核心组件与核心概念(Pod、Deployment、Service) 1. 核心组件与核心概念 K8S集群分为Master节点和Node节点，Master节点负责调度分配任务，Node节点接受Master调度进行工作。 1.1 Master节点组件 1. API Server ......

kubectl describe pod podnamer . 指向网络组件有问题，kubectl apply -f kube-flannel.yml 重新配置flannel网络, kubectl delete -f kube-flannel.yml kubectl apply -f kube-fl ......

一.生成key文件 需要注意集群中所有机器都需要用同一个文件，否则会出现验证失败的情况 # 生成key openssl rand -base64 756 > /data/volume/mongodb/configdb/mongo.key # 设置访问权限 chmod 400 /data/volume ......

Rancher(V2.6.3)安装K8s教程 一，安装前环境准备： 1,升级Linux服务器内核 Ubuntu20.04： #查看当前内核版本 uname -rs #查看软件库中可下载的内核 sudo apt list | grep linux-generic* 如果已经是最新的就不必更新 #下载最 ......

1、什么是哨兵模式哨兵模式：可以自动切换解决单点故障，但是不能负载均衡，存储能力受限制。 哨兵核心功能：在主从复制的基础上，实现了主节点的自动故障转移 2、哨兵的作用监控：监控主节点和从节点是否在正常运行 故障自动转移：当主节点不能正常工作时，哨兵会开始自动故障转移操作，它会将失效主节点的其中一个从 ......

4.Redis Cluster　集群模式 如果单机吞吐量过大，我们可以横向和纵向进行扩展，横向就是加节点（scale out），纵向就是加配置（scale up）。 如果加配置，治标不治本，单机局限性和持久化问题无法解决（如轮式RDB快照还是AOF指令） 横向扩展更容易扩展，可以解决很多问题，包括单 ......

写在开篇 “ 上一次，我发了一篇：《理论篇：让我们一起鲁克鲁克——rook（开源存储编排）》。这次，来一篇实战，使用rook在k8s上把ceph集群搞起来。后续，还会陆续分享如何对接k8s（作为k8s的后端存储）、以及分享一些在生产上的实践经验。 ” 环境规划 | 主机名 | IP | 角色 | 数 ......

对pod和container的资源设置数值限制，如果值不符合下面设置则启动报错 apiVersion: v1 kind: LimitRange metadata: name: limitrange-magedu namespace: magedu spec: limits: - type: Cont ......

在master节点重新生成token命令，然后在node子节点中执行kubuadm join命令 kubeadm token create --print-join-command 如果网忘了证书的秘钥，可以在master节点执行以下命令 openssl x509 -pubkey -in /etc/ ......