集群 压力etcd 200w
部署K8S 1.28版本集群部署（基于Containerd容器运行）
1、主机配置 hostnamectl set-hostname k8s-masterecho "172.21.131.89 k8s-master" >> /etc/hostssystemctl stop firewalld && systemctl disable firewalldsetenfor ......
卸载Ceph集群中的OSD
# 卸载Ceph集群中的OSD ```sh 要卸载Ceph集群中的OSD（对象存储守护程序），您可以按照以下步骤执行。 请注意，在卸载OSD之前，请确保您已经安全备份了Ceph集群中的数据，因为卸载OSD将导致数据重新平衡和迁移。 ``` ## 1.**停用OSD** 在卸载OSD之前，您需要将它们 ......
locust：Python 分布式压力测试（带WebUI）
Locust 介绍 它采用纯 Python 实现，是一个分布式用户负载测试的工具。 使用基于 Requests 库的客户端发起请求，使编写脚本大大简化; 在模拟并发方面摒弃进程和线程，完全基于时间驱动，采用协程（gevent）提供的非阻塞 IO 和 coroutine 来实现网络层的并发请求。因此单 ......
静态搭建etcd集群(二进制安装)
| 软件 | 版本 | | | | | etcd | v3.5.9 | | cfssl | v1.6.4 | ### 一、下载文件  初始启动时，节点处于 follower 状态并被设定一个 election t ......
K8s 多集群实践思考和探索
本文主要讲述了一些对于k8s多集群管理的思考，包括为什么需要多集群、多集群的优势以及现有的一些基于Kubernetes衍生出的多集群管理架构实践。 ......
负载和压力等概念的理解和区别
一、性能测试的前提： 1、软件性能测试：用一定的技术工具、找出或者验证某些指标值的测试 2、某个项目或者接口没有做过性能测试时，要获取性能指标值作为基准值 前提： A、关键项评估：如主管部门、监管部门审查；涉及到财产安全、大型新系统，核心系统，业务剧增； B、具有可测试性。 二、性能测试的基本原则： ......
ElasticSearch系列——查询、Python使用、Django/Flask集成、集群搭建，数据分片、位置坐标实现附近的人搜索
@[toc] # Elasticsearch之-查询 ``` 查询分类： 基本查询：使用es内置查询条件进行查询 组合查询：把多个查询组合在一起进行复合查询 过滤：查询的同时，通过filter条件在不影响打分的情况下筛选数据 ``` ## 一 基本查询 ```python #添加映射 PUT lag ......
Elasticsearch7.8集群实践记录之下线节点
1.背景：由于机房迁移需要将elasticsearch集群进行跨机房搬迁，采取先扩容再收缩的方式进行，已有效减小对业务环境的影响。当前需要将老的节点有序下线。 2.操作步骤： 1.检查集群配置，保证主节点的可用性； # 设置 minimum_master_nodes 为 2 curl -XPUT ' ......
54-Kubernetes集群资源监控-监控指标和方案
集群资源监控 1.监控指标 集群监控 节点资源利用率（node1/2节点，每个节点cpu用了多少还剩多少） 节点数（3个在忙碌1个在空闲状态要考虑节点数的监控） 运行pods（1个节点运行了多少pod） Pod监控 容器指标（pod中运行了多少容器） 应用程序（看到当前集群的完整情况） 2.监控平台 ......
Elasticsearch7.8集群实践记录
1.背景：当需要开发团队搭建自有elasticsearch集群时候，需要先明确具体的应用场景，进而对可用性，性能以及容量进行评估。当前实践记录主要应用场景在于业务日志记录短暂保存以便提供近期数据查询，并选择elasticsearch版本7.8.0，可用性要求三个9，每日数据量月1.5T，数据保存大约 ......
kubeadm快速构建K8S1.28.1高可用集群
kubeadm快速构建K8S1.28.1高可用集群 作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。 ......
集群版 FastDFS 的部署和使用
生产环境中一般不可能将用户上传的文件存放在单机，绝大多数情况下会搭建文件服务器集群，确保文件的互相备份和高可用。上一篇博客已经对 FastDFS 分布式文件系统进行了介绍，这里不再赘述。由于我个人笔记本电脑性能有限，因此本篇博客将使用 2 台虚拟机搭建 FastDFS 集群，实现 2 台机器之间文件 ......
redis cluster集群安装（CentOS7 + redis 5.0.14）
Linux系统-部署-运维系列导航 redis cluster介绍 redis最开始使用主从模式做集群，若master宕机需要手动配置slave转为master；后来为了高可用提出来哨兵模式，该模式下有一个哨兵监视master和slave，若master宕机可自动将slave转为master，但它也 ......
kafka集群安装（CentOS7 + kafka 2.7.1）
Linux系统-部署-运维系列导航 kafka介绍 Kafka是最初由Linkedin公司开发，是一个分布式、分区的、多副本的、多订阅者，基于zookeeper协调的分布式日志系统（也可以当做MQ系统），常见可以用于web/nginx日志、访问日志，消息服务等等，Linkedin于2010年贡献给了 ......
zookeeper集群安装（CentOS7 + zookeeper 3.7.0）
Linux系统-部署-运维系列导航 zookeeper介绍 ZooKeeper是一个分布式的，开放源码的分布式应用程序协调服务，是Google的Chubby一个开源的实现，是Hadoop和Hbase的重要组件。它是一个为分布式应用提供一致性服务的软件，提供的功能包括：配置维护、域名服务、分布式同步、 ......
Redis安装与使用、redis主从复制、redis集群
# Redis 文章内容主要参考b站 运维实战课程 的redis视频：[redis的课程介绍_哔哩哔哩_bilibili](https://www.bilibili.com/video/BV1cP4y1D7yh?p=1) ## 简介 1.Redis是一个缓存数据库，主要是做缓存。什么是缓存？也就是缓 ......
ES集群搜索稳定性保障
如果将 Elasticsearch（ES）作为线上C端服务的查询引擎，那么 search query 的响应时间则至关重要。因为毕竟面向C端用户，如果一个搜索请求 1 秒内还未返回，那么用户将不可接受。 因此，C端服务对ES的性能稳定性做了许多工程上的优化，比如： 1. 强制将索引的段文件设置为1， ......
关于XXLJOB集群模式下调度失败的问题
xxljob在集群模式下调度高频任务时，有时会出现调度失败的问题，具体报错如下： java.io.EOFException: HttpConnectionOverHTTP@6be8bf0c(l:/10.48.2.64:38538 <-> r:/10.48.1.125:18989,closed=fal ......
MySQL MGR集群部署运维常用脚本
Linux系统-部署-运维系列导航 安装、初始化操作汇总 #初始化、重置mysql rm -rf /data/mysql/ ; mkdir -p /data/mysql/data /data/mysql/log ; chown -R mysql:mysql /data/mysql/ ; chmod ......
ETCD存储满了如何处理？
一、前言 当运行 ETCD 日志报 Erro: mvcc database space exceeded 时，说明ETCD存储不足了（默认ETCD存储是2G），配额会触发告警，然后 Etcd 系统将进入操作受限的维护模式。 通过下面命令可以查看ETCD存储使用情况： $ ETCDCTL_API=3 ......
随笔（三十二）『Linux - es集群』
### 1、使用VMware安装虚拟机 ``` 参考： http://e.betheme.net/article/show-298568.html?action=onClick ``` ### 2、准备3台虚拟机 ``` IP分别为： vm_es_1：192.168.195.102 vm_es_2： ......
MySQL MGR集群搭建（CentOS7 + MySQL 5.7.35）
Linux系统-部署-运维系列导航 一、MGR架构的介绍 1、简介 MGR（MySQL Group Replication）是MySQL5.7.17版本引进来的一个数据库高可用架构，解决了传统异步复制和半同步复制的缺陷（主从数据一致性的问题），MGR依靠分布式一致性协议PAXOS，实现了主从数据库的 ......
Ubuntu部署Hadoop集群
## 前期准备 ### 系统及软件版本说明 本章操作中所使用的相关操作系统及软件版本如下： | 软件 | 版本 | | | | | 操作系统 | Ubuntu 14.04.1 | | JDK | 1.8.0 | | Hadoop | 2.7.3 | ### JDK 安装 集群中每台机器都需要安装 J ......
Ubuntu部署Spark集群
## 前期准备 ### 系统及软件版本说明 本章操作中所使用的相关操作系统及软件版本如下： | 软件 | 版本 | | | | | 操作系统 | Ubuntu 14.04.1 | | JDK | 1.8.0 | | Hadoop | 2.7.3 | | Spark | 2.2.0 | ### JDK ......