单体 集群docker-compose compose
oracle之安装data gaurd集群
#################### 开启归档日志: shutdown immediate; startup mount; alter database archivelog; alter database open; archive log list # 更改归档目录路径log_archive ......
1、Clickhouse 单节点与集群部署
一、单节点部署 1.1、修改文件描述符 vim /etc/security/limits.conf * soft nofile 65536 * hard nofile 65536 * soft nproc 131072 * hard nproc 131072 vim /etc/security/li ......
redis cluster 集群畅谈三 之 水平扩容、slave自动化迁移【转】
上一篇 redis cluster 集群畅谈二 , 主要讲解 实验多master写入、读写分离、实验自动故障切换(高可用性),那么本篇我们就来聊了聊redis cluster 水平扩容以及自动化 slave 迁移。 redis repliction 主从架构,一主多从更多的是为了提高 读QPS 。而 ......
redis主从复制、哨兵和集群
redis主从复制、哨兵和集群 一、redis持久化 1.1持久化的功能 Redis是内存数据库,数据都是存储在内存中,为了避免服务器断电等原因导致Redis进程异常退出后数据的永久丢失,需要定期将Redis中的数据以某种形式(数据或命令)从内存保存到硬盘; 当下次Redis重启时,利用持久化文件实 ......
docker compose的v1\v2版本安装及使用上的区别
【docker系列】docker compose的v1\v2版本安装及使用上的区别 文章目录一、简介二、 安装 docker Compose 1.x版本三、安装docker compose v2版本一、简介Docker Compose 可以按照规范的定义文件(docker-compose.yml)一 ......
ELK+kafka集群部署
前言 业务层可以直接写入到kafka队列中,不用担心elasticsearch的写入效率问题。 消息系统主要功能 1、解耦 允许你独立的扩展或修改两边的处理过程,只要确保它们遵守同样的接口约束 2、冗余 消息队列把数据进行持久化直到它们已经被完全处理,通过这一方式规避了数据丢失风险。许多消息队列所采 ......
A0--集群基础环境
文件下载: ansible_v2.9.9 flink-1.16.0 hadoop-3.1.3 hive-3.1.3 kafka_2.13-3.3.1 python-3.8.10 spark-3.2.1 tools.tgz zookeeper-3.6.3 一、安装并配置ansible自动化工具 1)上 ......
2-SpringBoot开发单体应用
Spring Boot 开发单体应用 1.SpringBoot Web开发 使用SpringBoot的步骤: 创建一个SpringBoot应用,选择我们需要的模块,SpringBoot就会默认将我们的需要的模块自动配置好; 手动在配置文件中配置部分配置项目就可以运行起来了。 专注编写业务代码,不需要 ......
hdfs集群的扩容和缩容
1、背景 当我们的hadoop集群运行了一段时间之后,原有的数据节点的容量已经不能满足我们的存储了,这个时候就需要往集群中增加新的数据节点。此时我们就需要动态的对hdfs集群进行扩容操作(节点服役)。 2、集群黑白名单 在hdfs集群中是存在黑名单和白名单的。 黑名单: 该文件包含不允许连接到nam ......
docker 部署mongoDB集群与读写分离
一.生成key文件 需要注意集群中所有机器都需要用同一个文件,否则会出现验证失败的情况 # 生成key openssl rand -base64 756 > /data/volume/mongodb/configdb/mongo.key # 设置访问权限 chmod 400 /data/volume ......
安装docker-compose
安装docker-compose 下载安装文件 sudo curl -L https://get.daocloud.io/docker/compose/releases/download/1.25.1/docker-compose-uname -s-uname -m -o /opt/docker-c ......
Redis哨兵和cluster集群
1、什么是哨兵模式哨兵模式:可以自动切换解决单点故障,但是不能负载均衡,存储能力受限制。 哨兵核心功能:在主从复制的基础上,实现了主节点的自动故障转移 2、哨兵的作用监控:监控主节点和从节点是否在正常运行 故障自动转移:当主节点不能正常工作时,哨兵会开始自动故障转移操作,它会将失效主节点的其中一个从 ......
决战圣地玛丽乔亚Day47----Redis集群
4.Redis Cluster 集群模式 如果单机吞吐量过大,我们可以横向和纵向进行扩展,横向就是加节点(scale out),纵向就是加配置(scale up)。 如果加配置,治标不治本,单机局限性和持久化问题无法解决(如轮式RDB快照还是AOF指令) 横向扩展更容易扩展,可以解决很多问题,包括单 ......
实战篇:使用rook在k8s上搭建ceph集群
写在开篇 “ 上一次,我发了一篇:《理论篇:让我们一起鲁克鲁克——rook(开源存储编排)》。这次,来一篇实战,使用rook在k8s上把ceph集群搞起来。后续,还会陆续分享如何对接k8s(作为k8s的后端存储)、以及分享一些在生产上的实践经验。 ” 环境规划 | 主机名 | IP | 角色 | 数 ......
安装 composer 相关小问题
curl -sS https://getcomposer.org/installer | usr/local/php/bin/php 安装composer,用php实际安装地址 安装完成~! mv composer.phar /usr/local/bin/composer 将composer.pha ......
redis集群简介
1.1 集群的概念 所谓的集群,就是通过添加服务器的数量,提供相同的服务,从而让服务器达到一个稳定、高效的状态。 1.1.1 使用redis集群的必要性 问题:我们已经部署好了redis,并且能启动一个redis,实现数据的读写,为什么还要学习redis集群? 答:(1)单个redis存在不稳定性。 ......
Docker Compose
一、Docker Compose 1、前言 我们知道使⽤⼀个 Dockerfile 模板⽂件,可以让⽤户很⽅便的定义⼀个单独的应⽤容器。然⽽,在⽇常⼯作中,经常会碰到需要多个容器相互配合来完成某项任务的情况。例如要实现⼀个 Web 项⽬,除了 Web 服务容器本身,往往还需要再加上后端的数据库服务容 ......
kubernetes rabbimq3.11.11集群之mqtt插件
1. 概述 本文是总结给予k8s的rabbitmq3.11.11集群的mqtt搭建 rabbitmq集群搭建详见前一篇文章:kubernetes 集群部署rabbimq3.11.11 2. 自动创建mqtt账号密码 wrapper-entrypoint.sh #!/usr/bin/env bash ......
redis哨兵和集群
一、redis哨兵 主从切换技术的方法是:当服务器宕机后,需要手动一台从机切换为主机,这需要人工干预,不仅费时费力而且还会造成一段时间内服务不可用。为了解决主从复制的缺点,就有了哨兵机制。 哨兵的核心功能:在主从复制的基础上,哨兵引入了主节点的自动故障转移。 1、哨兵模式原理:哨兵(sentinel ......
Redis6 集群单机安装
Redis6 集群单机安装 官网下载 https://download.redis.io/releases/redis-6.2.6.tar.gz http://download.redis.io/redis-stable.tar.gz 文档参考 https://redis.io/documentat ......
第一章 1.2节 Kubeadm安装K8S高可用集群(二)
1.1 查看Token过期时间 执行下面命令查看所有Token: kubectl get secret -n kube-system 找到之前创建的new.yaml文件,进去查看使用的Token: [root@k8s-master01 ~]# cat new.yaml apiVersion: kub ......
Docker-Compose快速搭建LNMP
Docker-Compose 1.安装Docker sudo apt -y install docker.io docker version 查看版本号 docker help 查看帮助文档 2.更换镜像源 sudo su - cat >> /etc/docker/daemon.json <<- E ......
PXC集群
主从架构存在的问题: 主从之间的同步,是异步完成,也就意味着这是 弱一致性。可能会导致,数据写入主库后,应用程序读取从库获取不到数据,或者可能会丢失数据,对于数据安全性要求比较高的应用是不合适的,该问题可以通过 PXC集群解决。 一、简介 Percona XtraDB Cluster(简称PXC)是 ......
Kubeadm安装k8s集群升级100年证书时报错:Unable to connect to the server: EOF:求解决方法.
报错信息: 使用命令时: Kubelet服务报错: 报错情况,在更新完k8s100年证书的时候,到最后重新启动kubelet服务的时候,服务是可以重新启动的,但是kubectl的命令是无法使用的,会等好长时间然后报出上面图片第一个的错误。还请各位大佬给出一些解决办法,实在是劳烦各位大佬了,自己找了好 ......
通过 docker-compose 快速部署 Hadoop 集群极简教程
前面那篇文章内容过多,可能小伙伴只是想快速部署,所以这里出了一个极简的部署教程,如果想了解详细部署过程,可以建议参考我上一篇的文章:通过 docker-compose 快速部署 Hadoop 集群详细教程 1)安装 docker # 安装yum-config-manager配置工具 yum -y i ......
Redis集群从节点无限循环同步故障
今天是清明节假日第一天,收到客户请求,我们的redis出问题了帮忙看看! 程序的报错日志提供如图 登录该套redis集群查看节点信息与集群状态 根据现场状态与监控,迅速做出判断与推理 第一时间内给出个人的建议:建议重启部分异常程序,业务全部恢复正常! 业务已经恢复了,那继续来修复这个fail的异常r ......
基于3.5.x 版本进行zookeeper 集群搭建
搭建 zk 3.5.x 版本的集群环境 本次搭建使用 3.5.7 版本的zk。 3.5.x 版本进行集群环境的搭建,本质其实和 3.4.x 是没有太大区别的。 但是 3.5.x 的集群环境支持动态的扩缩容,因此 在配置文件方面,将集群节点的配置单独抽取出来了,存放到一个 zoo.cfg.dynami ......
基于3.4.x 版本进行zookeeper 集群搭建
搭建一主二从 三个节点 zookeeper 集群环境 *** 使用 zk 的 3.4.13 的版本 *** 注意:对于 zk , 3.4 版本和3.5 版本集群环境是有一些区别的。 3.5 版本以后使用的是动态集群模式,支持集群的动态扩缩容。(可以在不重启的情况下,实现集群的扩容,缩容) 本集群搭建 ......
提升集群吞吐量与稳定性的秘诀: Dubbo 自适应负载均衡与限流策略实现解析
本文所说的“柔性服务”主要是指 consumer 端的负载均衡和 provider 端的限流两个功能。在之前的 Dubbo 版本中,负载均衡部分更多的考虑的是公平性原则,即 consumer 端尽可能平等的从 provider 中作出选择,在某些情况下表现并不够理想。而限流部分只提供了静态的限流方案... ......
HAProxy实现mycat集群的负载均衡
上文我们已经实现了mycat集群(https://www.cnblogs.com/zwh0910/p/17278863.html),现在我们来实现mycat集群的负载均衡 在前面架构中,虽然对mycat做了集群,保障了mycat的可靠性,但是,应用程序需要连接到多个mycat,显然不是很友好的,也就 ......