集群rabbitmq
网易Airtest全新推出：小型便携式集群解决方案！
它来了~它来了~网易Airtest全新版本的小型便携式集群方案它来啦！我们这次改进之后，便携式机柜更便捷~功能性更强啦！ ......
K8s 多集群实践思考和探索
本文主要讲述了一些对于k8s多集群管理的思考，包括为什么需要多集群、多集群的优势以及现有的一些基于Kubernetes衍生出的多集群管理架构实践。 ......
ElasticSearch系列——查询、Python使用、Django/Flask集成、集群搭建，数据分片、位置坐标实现附近的人搜索
@[toc] # Elasticsearch之-查询 ``` 查询分类： 基本查询：使用es内置查询条件进行查询 组合查询：把多个查询组合在一起进行复合查询 过滤：查询的同时，通过filter条件在不影响打分的情况下筛选数据 ``` ## 一 基本查询 ```python #添加映射 PUT lag ......
RabbitMq
RabbitMq 消息延迟消费 ``` message.getMessageProperties().setDelay(5000) ``` 死信就是消息在特定场景下的一种表现形式，这些场景包括： 消息被拒绝(basic.reject / basic.nack)，并且requeue = false 消 ......
RabbitMQ的机制
1.RabbitMQ的保证消息的稳定性 1.1 消息的可靠投递 在生产环境中由于一些不明原因，导致 rabbitmq 重启，在 RabbitMQ 重启期间生产者消息投递失败，导致消息丢失，需要手动处理和恢复。于是，我们开始思考，如何才能进行 RabbitMQ 的消息可靠投递呢？特别是在这样比较极端的 ......
Elasticsearch7.8集群实践记录之下线节点
1.背景：由于机房迁移需要将elasticsearch集群进行跨机房搬迁，采取先扩容再收缩的方式进行，已有效减小对业务环境的影响。当前需要将老的节点有序下线。 2.操作步骤： 1.检查集群配置，保证主节点的可用性； # 设置 minimum_master_nodes 为 2 curl -XPUT ' ......
54-Kubernetes集群资源监控-监控指标和方案
集群资源监控 1.监控指标 集群监控 节点资源利用率（node1/2节点，每个节点cpu用了多少还剩多少） 节点数（3个在忙碌1个在空闲状态要考虑节点数的监控） 运行pods（1个节点运行了多少pod） Pod监控 容器指标（pod中运行了多少容器） 应用程序（看到当前集群的完整情况） 2.监控平台 ......
Elasticsearch7.8集群实践记录
1.背景：当需要开发团队搭建自有elasticsearch集群时候，需要先明确具体的应用场景，进而对可用性，性能以及容量进行评估。当前实践记录主要应用场景在于业务日志记录短暂保存以便提供近期数据查询，并选择elasticsearch版本7.8.0，可用性要求三个9，每日数据量月1.5T，数据保存大约 ......
kubeadm快速构建K8S1.28.1高可用集群
kubeadm快速构建K8S1.28.1高可用集群 作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。 ......
集群版 FastDFS 的部署和使用
生产环境中一般不可能将用户上传的文件存放在单机，绝大多数情况下会搭建文件服务器集群，确保文件的互相备份和高可用。上一篇博客已经对 FastDFS 分布式文件系统进行了介绍，这里不再赘述。由于我个人笔记本电脑性能有限，因此本篇博客将使用 2 台虚拟机搭建 FastDFS 集群，实现 2 台机器之间文件 ......
RabbitMQ
RabbitMQ 总结：直连模式1v1，work模式抢红包，广播模式公众号，路由模式小团体，Topic模式土豪版小团体rabbitmq常用的五种模型RabbitMQ的五种常用消息模型 ......
RabbitMQ安装 - RPM安装（CentOS7 RabbitMQ 3.10.0）
Linux系统-部署-运维系列导航 RabbitMQ介绍 RabbitMQ 是使用Erlang语言开发的基于AMQP标准的开源实现，用于在分布式系统中存储转发消息，在易用性、扩展性、高可用性等方面表现不错 RabbitMQ的特点 1、保证可靠性（Reliability）：使用持久化、传输确认、发布确 ......
RabbitMQ安装 - 二进制安装（CentOS7 RabbitMQ 3.11.3）
Linux系统-部署-运维系列导航 RabbitMQ介绍 RabbitMQ 是使用Erlang语言开发的基于AMQP标准的开源实现，用于在分布式系统中存储转发消息，在易用性、扩展性、高可用性等方面表现不错 RabbitMQ的特点 1、保证可靠性（Reliability）：使用持久化、传输确认、发布确 ......
redis cluster集群安装（CentOS7 + redis 5.0.14）
Linux系统-部署-运维系列导航 redis cluster介绍 redis最开始使用主从模式做集群，若master宕机需要手动配置slave转为master；后来为了高可用提出来哨兵模式，该模式下有一个哨兵监视master和slave，若master宕机可自动将slave转为master，但它也 ......
RABBITMQ
连接（Connection）： 连接是消息队列客户端与消息代理（如 RabbitMQ、Kafka 等）之间的网络连接。当客户端应用程序需要与消息代理进行通信时，首先需要建立一个连接。连接是一个低开销的资源，应尽量重用，以避免频繁地建立和断开连接。一个连接可以同时支持多个通道。 通道（Channel） ......
RabbitMQ 如何实现延迟队列？
延迟队列是指当消息被发送以后，并不是立即执行，而是等待特定的时间后，消费者才会执行该消息。 延迟队列的使用场景有以下几种： 1. 未按时支付的订单，30 分钟过期之后取消订单。 2. 给活跃度比较低的用户间隔 N 天之后推送消息，提高活跃度。 3. 新注册会员的用户，等待几分钟之后发送欢迎邮件等。 ......
kafka集群安装（CentOS7 + kafka 2.7.1）
Linux系统-部署-运维系列导航 kafka介绍 Kafka是最初由Linkedin公司开发，是一个分布式、分区的、多副本的、多订阅者，基于zookeeper协调的分布式日志系统（也可以当做MQ系统），常见可以用于web/nginx日志、访问日志，消息服务等等，Linkedin于2010年贡献给了 ......
zookeeper集群安装（CentOS7 + zookeeper 3.7.0）
Linux系统-部署-运维系列导航 zookeeper介绍 ZooKeeper是一个分布式的，开放源码的分布式应用程序协调服务，是Google的Chubby一个开源的实现，是Hadoop和Hbase的重要组件。它是一个为分布式应用提供一致性服务的软件，提供的功能包括：配置维护、域名服务、分布式同步、 ......
实操学习zabbix监控rabbitmq
需求： 监控rabbitmq总消息数量，设置阈值，自动发送邮件提醒 效果： 检测到问题，邮件已发送： 参考连接： linux，centSO搭建zabbix：https://blog.csdn.net/zhang_Darling/article/details/131745748 https://bl ......
rabbitmq之备份交换机
## 前言 ``` // 处理成功 false 表示不批量处理，批量处理容易丢失信息,消息会被rabbitmq broker 删除。 channel.basicAck(envelope.getDeliveryTag(), false); // 处理失败 重新入队 channel.basicNack( ......
MQ消息中间件之RabbitMQ
1.MQ知识扩充 1.1 什么是MQ消息中间件 MQ全称 Message Queue（消息队列），是在消息的传输过程中保存消息的容器。它是应用程序和应用程序之间的通信方法 1.2 为什么使用MQ 【注：在项目中，可将一些无需即时返回且耗时的操作提取出来，进行异步处理，而这种异步处理的方式大大的节省了 ......
Redis安装与使用、redis主从复制、redis集群
# Redis 文章内容主要参考b站 运维实战课程 的redis视频：[redis的课程介绍_哔哩哔哩_bilibili](https://www.bilibili.com/video/BV1cP4y1D7yh?p=1) ## 简介 1.Redis是一个缓存数据库，主要是做缓存。什么是缓存？也就是缓 ......
RabbitMQ面试相关
1.如何保证消息队列的高可用啊？ RabbitMQ是比较有代表性的，因为是基于主从做高可用性的，我们就以他为例子讲解第一种MQ的高可用性怎么实现。 rabbitmq有三种模式：单机模式，普通集群模式，镜像集群模式 (1)单机模式 (2)普通集群模式 意思就是在多台机器上启动多个rabbitmq实例， ......
ES集群搜索稳定性保障
如果将 Elasticsearch（ES）作为线上C端服务的查询引擎，那么 search query 的响应时间则至关重要。因为毕竟面向C端用户，如果一个搜索请求 1 秒内还未返回，那么用户将不可接受。 因此，C端服务对ES的性能稳定性做了许多工程上的优化，比如： 1. 强制将索引的段文件设置为1， ......
关于XXLJOB集群模式下调度失败的问题
xxljob在集群模式下调度高频任务时，有时会出现调度失败的问题，具体报错如下： java.io.EOFException: HttpConnectionOverHTTP@6be8bf0c(l:/10.48.2.64:38538 <-> r:/10.48.1.125:18989,closed=fal ......
MySQL MGR集群部署运维常用脚本
Linux系统-部署-运维系列导航 安装、初始化操作汇总 #初始化、重置mysql rm -rf /data/mysql/ ; mkdir -p /data/mysql/data /data/mysql/log ; chown -R mysql:mysql /data/mysql/ ; chmod ......
随笔（三十二）『Linux - es集群』
### 1、使用VMware安装虚拟机 ``` 参考： http://e.betheme.net/article/show-298568.html?action=onClick ``` ### 2、准备3台虚拟机 ``` IP分别为： vm_es_1：192.168.195.102 vm_es_2： ......
MySQL MGR集群搭建（CentOS7 + MySQL 5.7.35）
Linux系统-部署-运维系列导航 一、MGR架构的介绍 1、简介 MGR（MySQL Group Replication）是MySQL5.7.17版本引进来的一个数据库高可用架构，解决了传统异步复制和半同步复制的缺陷（主从数据一致性的问题），MGR依靠分布式一致性协议PAXOS，实现了主从数据库的 ......
Ubuntu部署Hadoop集群
## 前期准备 ### 系统及软件版本说明 本章操作中所使用的相关操作系统及软件版本如下： | 软件 | 版本 | | | | | 操作系统 | Ubuntu 14.04.1 | | JDK | 1.8.0 | | Hadoop | 2.7.3 | ### JDK 安装 集群中每台机器都需要安装 J ......
Ubuntu部署Spark集群
## 前期准备 ### 系统及软件版本说明 本章操作中所使用的相关操作系统及软件版本如下： | 软件 | 版本 | | | | | 操作系统 | Ubuntu 14.04.1 | | JDK | 1.8.0 | | Hadoop | 2.7.3 | | Spark | 2.2.0 | ### JDK ......