etcd集群k8s k8

上一篇 redis cluster 集群畅谈二 ， 主要讲解 实验多master写入、读写分离、实验自动故障切换（高可用性），那么本篇我们就来聊了聊redis cluster 水平扩容以及自动化 slave 迁移。 redis repliction 主从架构，一主多从更多的是为了提高 读QPS 。而 ......

redis主从复制、哨兵和集群 一、redis持久化 1.1持久化的功能 Redis是内存数据库，数据都是存储在内存中，为了避免服务器断电等原因导致Redis进程异常退出后数据的永久丢失，需要定期将Redis中的数据以某种形式(数据或命令)从内存保存到硬盘; 当下次Redis重启时，利用持久化文件实 ......

DAY4 ：ETCD的WAL WAL(Write-Ahead Logging)是数据库中保证数据持久化的常用技术。每次真正操作数据之前，先往磁盘上追加一条日志。由于日志是追加的(顺序写，而不是随机写)，所以写入性能非常高。 如果在写入日志之前，发生系统崩溃，那么数据肯定是没有写入磁盘的；如果在写入日 ......

前言 业务层可以直接写入到kafka队列中，不用担心elasticsearch的写入效率问题。 消息系统主要功能 1、解耦 允许你独立的扩展或修改两边的处理过程，只要确保它们遵守同样的接口约束 2、冗余 消息队列把数据进行持久化直到它们已经被完全处理，通过这一方式规避了数据丢失风险。许多消息队列所采 ......

文件下载： ansible_v2.9.9 flink-1.16.0 hadoop-3.1.3 hive-3.1.3 kafka_2.13-3.3.1 python-3.8.10 spark-3.2.1 tools.tgz zookeeper-3.6.3 一、安装并配置ansible自动化工具 1）上 ......

Kubernetes学习目录 1、基础知识 1.1、k8s策略 1.1.1、想象中的策略 到现在为止，我们之前操作过的k8s资源对象中，跟策略相关的无非就是 权限认证 - 权限认证主要是与用户登录和资源使用有关系 命名空间 - 命名空间可以将我们相关的资源进行隔离，但是我们可以通过 "命名空间.资源 ......

1、背景 当我们的hadoop集群运行了一段时间之后，原有的数据节点的容量已经不能满足我们的存储了，这个时候就需要往集群中增加新的数据节点。此时我们就需要动态的对hdfs集群进行扩容操作(节点服役)。 2、集群黑白名单 在hdfs集群中是存在黑名单和白名单的。 黑名单： 该文件包含不允许连接到nam ......

[K8S系列四] K8S核心组件与核心概念(Pod、Deployment、Service) 1. 核心组件与核心概念 K8S集群分为Master节点和Node节点，Master节点负责调度分配任务，Node节点接受Master调度进行工作。 1.1 Master节点组件 1. API Server ......

kubectl describe pod podnamer . 指向网络组件有问题，kubectl apply -f kube-flannel.yml 重新配置flannel网络, kubectl delete -f kube-flannel.yml kubectl apply -f kube-fl ......

一.生成key文件 需要注意集群中所有机器都需要用同一个文件，否则会出现验证失败的情况 # 生成key openssl rand -base64 756 > /data/volume/mongodb/configdb/mongo.key # 设置访问权限 chmod 400 /data/volume ......

Rancher(V2.6.3)安装K8s教程 一，安装前环境准备： 1,升级Linux服务器内核 Ubuntu20.04： #查看当前内核版本 uname -rs #查看软件库中可下载的内核 sudo apt list | grep linux-generic* 如果已经是最新的就不必更新 #下载最 ......

1、什么是哨兵模式哨兵模式：可以自动切换解决单点故障，但是不能负载均衡，存储能力受限制。 哨兵核心功能：在主从复制的基础上，实现了主节点的自动故障转移 2、哨兵的作用监控：监控主节点和从节点是否在正常运行 故障自动转移：当主节点不能正常工作时，哨兵会开始自动故障转移操作，它会将失效主节点的其中一个从 ......

4.Redis Cluster　集群模式 如果单机吞吐量过大，我们可以横向和纵向进行扩展，横向就是加节点（scale out），纵向就是加配置（scale up）。 如果加配置，治标不治本，单机局限性和持久化问题无法解决（如轮式RDB快照还是AOF指令） 横向扩展更容易扩展，可以解决很多问题，包括单 ......

写在开篇 “ 上一次，我发了一篇：《理论篇：让我们一起鲁克鲁克——rook（开源存储编排）》。这次，来一篇实战，使用rook在k8s上把ceph集群搞起来。后续，还会陆续分享如何对接k8s（作为k8s的后端存储）、以及分享一些在生产上的实践经验。 ” 环境规划 | 主机名 | IP | 角色 | 数 ......

对pod和container的资源设置数值限制，如果值不符合下面设置则启动报错 apiVersion: v1 kind: LimitRange metadata: name: limitrange-magedu namespace: magedu spec: limits: - type: Cont ......

在master节点重新生成token命令，然后在node子节点中执行kubuadm join命令 kubeadm token create --print-join-command 如果网忘了证书的秘钥，可以在master节点执行以下命令 openssl x509 -pubkey -in /etc/ ......

1.1 集群的概念 所谓的集群，就是通过添加服务器的数量，提供相同的服务，从而让服务器达到一个稳定、高效的状态。 1.1.1 使用redis集群的必要性 问题：我们已经部署好了redis，并且能启动一个redis，实现数据的读写，为什么还要学习redis集群？ 答：（1）单个redis存在不稳定性。 ......

5.1 K8s基础 5.1.3 K8s核心特性 K8s的主要特点： 轻量级：下载后即可用； 便携：可部署在公有云、私有云或混合云等任意环境； 可扩展性：采用插件化的设计架构，每个模块都可插拔； K8s的核心功能：自动化的任务管理、对微服务架构体系的支撑以及最大化资源利用； 自动化的任务管理：包括应用 ......

运维，没你想的那么简单！ 一、前言 二、基础环境部署 1）前期准备（所有节点） 2）安装容器 docker（所有节点） 3）配置 k8s yum 源（所有节点） 4）将 sandbox_image 镜像源设置为阿里云 google_containers 镜像源（所有节点） 5）配置 containe ......

所需镜像汇总： quay.io/brancz/kube-rbac-proxy:v0.12.0 3b63df468a30 quay.io/prometheus/node-exporter:v1.3.1 1dbe0e931976 k8s.gcr.io/kube-state-metrics/kube-st ......

1. 概述 本文是总结给予k8s的rabbitmq3.11.11集群的mqtt搭建 rabbitmq集群搭建详见前一篇文章：kubernetes 集群部署rabbimq3.11.11 2. 自动创建mqtt账号密码 wrapper-entrypoint.sh #!/usr/bin/env bash ......

Kubernetes学习目录 1、基础知识 1.1、简介 Calico是一个开源的虚拟化网络方案,用于为云原生应用实现互联及策略控制.相较于 Flannel 来 说,Calico 的优势是对网络策略(network policy),它允许用户动态定义 ACL 规则控制进出容器的数据 报文,实现为 P ......

正文不废话 背景原因 日常巡检发现etcd报了心跳超时（大二层，所以可能不在同一交换机下，怀疑网络质量问题） failed to send out heartbeat on time (exceeded the 100ms timeout for .*ms.) 解决方案 调整etcd心跳 排查过程 ......

一、redis哨兵 主从切换技术的方法是：当服务器宕机后，需要手动一台从机切换为主机，这需要人工干预，不仅费时费力而且还会造成一段时间内服务不可用。为了解决主从复制的缺点，就有了哨兵机制。 哨兵的核心功能：在主从复制的基础上，哨兵引入了主节点的自动故障转移。 1、哨兵模式原理:哨兵(sentinel ......

Redis6 集群单机安装 官网下载 https://download.redis.io/releases/redis-6.2.6.tar.gz http://download.redis.io/redis-stable.tar.gz 文档参考 https://redis.io/documentat ......

1.1 查看Token过期时间 执行下面命令查看所有Token： kubectl get secret -n kube-system 找到之前创建的new.yaml文件，进去查看使用的Token： [root@k8s-master01 ~]# cat new.yaml apiVersion: kub ......

主从架构存在的问题： 主从之间的同步，是异步完成，也就意味着这是 弱一致性。可能会导致，数据写入主库后，应用程序读取从库获取不到数据，或者可能会丢失数据，对于数据安全性要求比较高的应用是不合适的，该问题可以通过 PXC集群解决。 一、简介 Percona XtraDB Cluster（简称PXC）是 ......

报错信息： 使用命令时： Kubelet服务报错： 报错情况，在更新完k8s100年证书的时候，到最后重新启动kubelet服务的时候，服务是可以重新启动的，但是kubectl的命令是无法使用的，会等好长时间然后报出上面图片第一个的错误。还请各位大佬给出一些解决办法，实在是劳烦各位大佬了，自己找了好 ......

前面那篇文章内容过多，可能小伙伴只是想快速部署，所以这里出了一个极简的部署教程，如果想了解详细部署过程，可以建议参考我上一篇的文章：通过 docker-compose 快速部署 Hadoop 集群详细教程 1）安装 docker # 安装yum-config-manager配置工具 yum -y i ......

今天是清明节假日第一天，收到客户请求，我们的redis出问题了帮忙看看！ 程序的报错日志提供如图 登录该套redis集群查看节点信息与集群状态 根据现场状态与监控，迅速做出判断与推理 第一时间内给出个人的建议：建议重启部分异常程序，业务全部恢复正常！ 业务已经恢复了，那继续来修复这个fail的异常r ......