集群grafana loki k8s
grafana添加仪表盘的图
添加类似车载仪表盘的图形: [root@zabbix-server ~]# grafana-cli plugins list-remote |grep -i singleid: blackmirror1-singlestat-math-panel version: 1.1.8id: grafana- ......
ZooKeeper数据和集群特点,ZAB协议和选主过程解析
前言 本文讲述 ZooKeeper 集群架构特点、数据结构、事务ID、选主和ZAB协议具体执行过程。 服务保证 ZooKeeper 非常快速且非常简单。由于它的目标是构建更复杂的服务(如同步)的基础,因此它提供了一组保证: 【顺序一致性】来自客户端的更新将按发送顺序执行,因为只有唯一的主节点负责写请 ......
Hadoop搭建(集群)
HADOOP配置文件 | | core-site.xml | | | | | hadoop.tmp.dir | /opt/hadoop/tmp | | fs.defaultFS | hdfs://master:9000 | | | hdfs-site.xml | | | | | hadoop.nam ......
Springboot+ElasticJob-Lite实现集群任务调度
前言 ElasticJob-Lite是集群环境下应用(比如SpringCloud微服务)任务调度的解决方案。 集群部署的时候,一个定时任务会有多个进程执行,如果不进行任何处理,会导致任务触发的时候每个进程重复执行一次。 解决办法有两种:一种是加锁,保证同时只有一个进程执行任务,比如用分布式锁,或者用 ......
docker与k8s的区别
docker:开源的应用容器引擎,允许开发人员将其应用和依赖打包成可移植的镜像,然后发布到任何流行的linux或windows机器上,也能实现虚拟化。 kubernetes:谷歌开发的容器集群管理系统。在docker技术的基础上,为容器化的应用提供部署运行、资源调度、服务发现和动态伸缩等一系列完整功 ......
K8s集群搭建问题
警告Cgroup Driver不一致 节点加入集群会警告 docker 和 kubelet 的 Cgroup Driver 不一致,但是暂未发现影响,如图: 解决办法:修改 docker 的 Cgroup Driver 为 systemd vim /etc/docker/daemon.json 加下 ......
在Linux内网搭建K8s集群
前言 本文讲述在Linux内网搭建K8s集群详细步骤,解决搭建过程中的问题。 脚本基本可以不修改直接使用。 准备工作 需要Linux CentOS 7.x 两台及以上,本文用的 7.6。 主机要求有2个核心及以上。 安装步骤多个节点可以并行操作,默认所有操作各节点都要执行,某些操作仅主/工作节点执行 ......
2021-12-30-k8s集群进行删除并添加node节点
layout: post cid: 7 title: k8s集群进行删除并添加node节点 slug: 7 date: 2021/12/30 16:58:32 updated: 2021/12/30 16:58:32 status: publish author: cby categories: 默 ......
2021-12-30-Docker启动MySQL、MongoDB、Redis、Elasticsearch、Grafana,数据库
layout: post cid: 5 title: Docker启动MySQL、MongoDB、Redis、Elasticsearch、Grafana,数据库 slug: 5 date: 2021/12/30 16:57:00 updated: 2022/03/25 15:53:08 status ......
在Linux搭建Zookeeper集群
前言 本文讲述在多台 Linux 服务器搭建 ZooKeeper 集群的具体步骤,共 4 个节点(1 主 2 从 1 观察者)。 ZooKeeper使用的端口:【2181】对 client 提供服务;【3888】选举 leader;【2888】集群内通讯。 准备工作 ZooKeeper需要1.7及以 ......
在Linux搭建Kafka集群
前言 以kafka_2.13-2.8.0版本做示例,安装架构图如下所示,4台服务器,4个节点的Zookeeper集群(1主2从1观察)以及3个Kafka服务。 准备工作 准备多台服务器来搭建集群环境 Kafka需要Zookeeper做分布式协调,所以得先准备好Zookeeper集群。可以参考 在Li ......
在Linux部署Redis主从和哨兵集群实现高可用
前言 本文主要讲述在 Linux 系统中配置和部署 Redis 主从集群和哨兵,实现高可用和自动故障迁移。 准备工作 参考 Redis 单机部署 安装 3 个 Redis 服务作一主二从,本文准备了 6380(主)、6381(从) 和 6382(从)。 参考 Redis 单机部署 安装 3 个 Re ......
在Linux部署Redis Cluster集群
前言 本文讲述在 Linux 系统部署 Redis Cluster 实现数据分片的具体步骤。 请参考 Redis 单机部署 下载编译。 Redis Cluster是什么? Redis Cluster 是官方提供的一种用数据分片来实现横向扩容的解决方案,由一个或多个 Redis 服务组成一个无主集群。 ......
在Linux部署Etcd集群
前言 目前解决分布式系统下数据强一致性的主要算法理论是Paxos和Raft,偏向CAP定理一致性(Consistency)、可用性(Availability)、分区容错性(Partition tolerance)中的CP。 Raft在容错和性能方面和Paxos相当,不同之处在于它将问题分解成相对独立 ......
Redis——(主从复制、哨兵模式、集群)的部署及搭建
重点: 主从复制:主从复制是高可用redis的基础,主从复制主要实现了数据的多机备份,以及对于读操作的负载均衡和简单的故障恢复。 哨兵和集群都是在主从复制基础上实现高可用的。 缺点:故障恢复无法自动化,写操作无法负载均衡,存储能力受到单机的限制。 哨兵:在主从复制的基础上,哨兵实现了自动化的故障恢复 ......
让JVM感知K8s资源限制
无感知导致的问题 当我们在K8s中Deployments配置资源限制和预留的时候,比如设置最大内存为500M。但是宿主机的总内存为8G,这时候Pod启动后会超出内存限制,被Deployments杀掉。但为了维护设置的副本数量又创建新的,如此反复。 原因是默认情况JVM默认最大堆空间为系统总内存的1/ ......
Docker 下 RedisCluster 分片集群搭建
1. Cluster 分片集群 1.1 Cluster 集群的结构和作用 redis 哨兵模式虽然提供了 redis⾼可⽤、高并发读的解决方案,但是在海量数据应用场景下,仍然存在海量数据存储问题和高并发写的问题。当只有⼀个 Master 对外提供服务时,如果数据量特别⼤,内存占⽤问题严重,数据的高并 ......
grafana自定义图形
启用zabbix插件 目前看导致这个报错的主要原因是grafana版本太低导致,看样子是要升级grafana版本了 。(最好下载grafana最新几个版本中的某个,避免出现安装zabbix插件后,grafana的plugins中可以看到zabbix但可用数据源中又不展示的问题) 安装参考:https ......
MySQL AutoIncrement--PXC集群批量插入操作获取自增ID异常问题
问题描述 由于MySQL PXC集群的所有节点均可读写,因此当PXC集群中节点增加和减少时,PXC集群会自动调整集群各节点的自增ID步长,避免不同集群节点生成相同自增ID值产生冲突。 当PXC集群中读节点数量发生变化时,客户端执行BatchInsert方法可能返回错误的自增ID值。 问题原因 由于M ......
使用sealos 快速部署生产可用的k8s环境
sealos 是一个很不错的k8s 部署工具,内部实际上也是基于了kubeadm ,但是sealos 做了不少方便的扩展 比如自己搞了一层基于lvs 的ha ,可以简化我们k8s 环境ha 的问题(但是如果需要外部访问还是需要一层ha 方案的) 同时sealos 提供了自己的一套容器镜像仓库,离线部 ......
最新centos7 部署 k8s v1.26,简单易懂,跟着命令敲就完事
其实没什么好说的,搭环境搞了一整天,人已经麻了,踩了很多坑,网上教程的版本大都比较旧,总是和最新版本各种地方不兼容,把坑踩完了,k8s目前最新的版本是v1.26,跟着命令敲就行了,我已经重复部署了很多次了,坑已经排完了.... 我试验的是1主2从结构,centos 2c2g 就足够。 1 系统环境准 ......
k8s服务调用
服务调用 1.给pod proxyy添加一个service即可映射 创建一个端口映射 都会创建一个对应的service 服务测试 启用一个busybox pod来对集群中的网络进行调试 正确配置busybox的pod ......
oracle之安装data gaurd集群
#################### 开启归档日志: shutdown immediate; startup mount; alter database archivelog; alter database open; archive log list # 更改归档目录路径log_archive ......
1、Clickhouse 单节点与集群部署
一、单节点部署 1.1、修改文件描述符 vim /etc/security/limits.conf * soft nofile 65536 * hard nofile 65536 * soft nproc 131072 * hard nproc 131072 vim /etc/security/li ......
44、K8S-调度机制-理论知识
1、调度体系 1.1、流程图 1.1.1、架构层面-集群的组成 1.1.2、资源层面-k8s集群资源的管控 1.1.3、网络层面 - k8s集群资源的访问 1.1.4、认证层面-k8s集群资源的认证 1.1.5、pod周期-pod创建的完整流程 1.1.6、pod创建流程 1.1.7、存储层面 1. ......
redis cluster 集群畅谈三 之 水平扩容、slave自动化迁移【转】
上一篇 redis cluster 集群畅谈二 , 主要讲解 实验多master写入、读写分离、实验自动故障切换(高可用性),那么本篇我们就来聊了聊redis cluster 水平扩容以及自动化 slave 迁移。 redis repliction 主从架构,一主多从更多的是为了提高 读QPS 。而 ......
redis主从复制、哨兵和集群
redis主从复制、哨兵和集群 一、redis持久化 1.1持久化的功能 Redis是内存数据库,数据都是存储在内存中,为了避免服务器断电等原因导致Redis进程异常退出后数据的永久丢失,需要定期将Redis中的数据以某种形式(数据或命令)从内存保存到硬盘; 当下次Redis重启时,利用持久化文件实 ......
Grafana--Min step与Resolution
问题: 今天在统计机房请求量的时候,发现时间选择12 hours时还是正常的,但是选择24 hours时就有一些线条出不来,数据也有缺失,如下: 12 hours 24 hours 问了同事,说是数据量太多,导致线条失真,可以改大步长(step),然后去百度了下step,没看懂... 先记录下现象, ......
ELK+kafka集群部署
前言 业务层可以直接写入到kafka队列中,不用担心elasticsearch的写入效率问题。 消息系统主要功能 1、解耦 允许你独立的扩展或修改两边的处理过程,只要确保它们遵守同样的接口约束 2、冗余 消息队列把数据进行持久化直到它们已经被完全处理,通过这一方式规避了数据丢失风险。许多消息队列所采 ......
Grafana+Prometheus监控服务器资源
我们在做性能测试的时候,当通过TPS和响应时间曲线看到出现性能瓶颈时候,我们需要拆分响应时间,找到接口请求过程中哪个服务上有问题,接着我们要去监控这个服务,通常监控服务我们都会用top命令来全局看一下服务器的整体资源消耗情况,例如:CPU,内存,IO,网络,负载情况等,而大家有知道top命令是实时监 ......