集群rabbitmq
Hive和Spark生产集群搭建
1.环境准备 1.1 版本选择 序号 bigdata-001 bigdata-002 bigdata-003 bigdata-004 bigdata-005 MySQL-8.0.31 mysql Datax Datax Datax Datax Datax Datax Spark-3.3.1 Spar ......
Hadoop生产集群搭建
1.环境准备 1.1 集群规划 序号 bigdata-001 bigdata-002 bigdata-003 bigdata-004 bigdata-005 IP x x x x x x xxx xxx xxx 组件 hadoop1 hadoop2 hadoop3 hadoop4 hadoop5 节 ......
rabbitmq添加延时通道时报错
rabbitmq添加延时通道时报错 'x-delayed-type' must be an existing exchange type 解决方案： 我实际用的是x-delayed-type:topic ......
RabbitMQ系列（五） RabbitMQ的文件和目录位置
概述 每个RabbitMQ节点使用一些文件和目录，用于加载配置、存储数据 / 元数据 / 日志文件等等。这些文件和目录的位置是可以自定义的。 本指南涵盖： 1）如何自定义RabbitMQ节点所使用的各种目录和文件的位置； 2）各种不同操作系统的默认位置； 3）关于文件和目录位置的其他相关主题； 路径 ......
RabbitMQ vs Kafka：正面交锋！
介绍 作为一名有着大量微服务系统处理经验的软件架构师，我经常遇到一个不断重复的问题：“我应该使用 RabbitMQ 还是 Kafka？” 出于某种原因，许多开发人员认为这些技术是可以互换的。虽然在某些情况下确实如此，但 RabbitMQ 还是 Kafka 之间存在根本上的差异。 因此，不同的场景需要 ......
rabbitmq listener注解@RabbitListener里的queues是个数组，你用了吗？
靠谱的程序员具有注重实效的偏执，对于重复多行的代码，总会想办法消除重复。 我们zhongtai-channel里在调用服务商接口发起签约前，使用了mq进行异步处理。即：zhongtai-channel签约RPCAPI接收到上游的请求后，先同步持久化保存签约请求流水，然后将签约数据放入rabbitmq ......
RabbitMQの延迟消息
目录1、什么是延时队列2、延时队列使用场景3、RabbitMQ中的TTL4、如果使用RabbitMQ来实现延时队列4.1、安装插件4.2、代码实现4.2.1、新建maven工程，pom.xml文件4.2.2、属性配置文件application.yml4.2.3、定义常量4.2.3、配置RabbitM ......
PHP RabbitMQ 发送端 channel->basic_publish() 阻塞问题记录
该问题是由于官方机制的带来的，当可用磁盘空间降至配置的限制（默认为50 MB）以下时，将触发警报，所有生产者将被阻止。目的是避免填满整个磁盘，这将导致节点上的所有写操作失败并可能导致RabbitMQ终止。 ......
C++聊天集群服务器解决客户端注销登录问题
客户端如何处理注销登录问题？ 问题描述: 在客户端登录后进行注销选择，然后重新登录刚才注销的账号，直接卡死。注意这是概率发生，因为是主线程和子线程抢服务器发送的信息，只有子线程抢到才会发生卡死 问题产生原因分析： 前置条件：主线程循环等待用户输入选择（第一张图是死循环，send后立马recv ......
集群模式
一、Redis Cluster 1、Redis集群方案的演变 大规模数据存储系统都会面临的一个问题就是如何横向拓展。 当你的数据集越来越大，一主多从的模式已经无法支撑这么大量的数据存储，于是你首先考虑将多个主从模式结合在一起对外提供服务，但是这里有两个问题就是如何实现数据分片的逻辑和在哪里实现这部分 ......
MySQL集群
一、MySQL集群方案 1、常见MySQL集群方案 1.1、Replication 特点： 速度快 弱一致性 适用于低价值数据： 日志 新闻 帖子 1.2、PXC 特点： 速度慢 强一致性 适用于高价值数据： 订单 账户 财务 1.2.1、PXC原理 全称（Percona XtraDB Cluste ......
Redis 主从集群搭建并使用 RedisTemplate 实现读写分离
单机版的 Redis 能够承载并发访问的能力有限，对于绝大多数的系统而言，都是读多写少，系统之所以宕机，一般都是因为并发读操作太高导致的宕机，因此搭建 Redis 主从集群，实现读写分离，是一种有效的提高并发访问能力的方案。 本篇博客介绍在一台虚拟机上，使用 docker-compose 模拟搭建一 ......
prometheus监控k8s集群信息（通过kube-state-metrics）
prometheus监控k8s集群信息（通过kube-state-metrics） 因为通过k8s集群中kubelet和apiserver自带的一些接口来获取的信息太少，当然如果只需要监控POD的cpu、内存等信息，可能使用kubelet也够了，但是更多的信息还需要其他的工具，这里使用kube-st ......
Kubernetes集群存储解决方案GlusterFS
1、工具简介 1.1、GlusterFS 是一个开源的分布式文件系统 具有强大的横向扩展能力 通过扩展能够支持数PB存储容量和处理数千客户端 将物理分布的存储资源聚集在一起，使用单一全局命名空间来管理数据 1.2、Heketi 是一个基于RESTful API的GlusterFS卷管理框架 可以方便 ......
Linux系统下kafka集群安装部署
Linux系统下kafka集群安装部署 Linux系统下kafka集群安装部署 | 系统运维 (osyunwei.com) 2023年05月01日 ⁄ kafka ⁄ 暂无评论 ⁄ 被围观 1,254次+ Kafka是由Apache软件基金会开发的一个开源流处理平台，由Scala和Java编写。 操 ......
RabbitMQ 安装(Centos7)
1.下载rabbitmq和erlang 1.1 erlang https://github.com/rabbitmq/erlang-rpm/releases 1.2 rabbitMQ https://github.com/rabbitmq/rabbitmq-server/releases/downl ......
ES集群架构
一、集群节点 一个ES集群可以有多个节点构成 一个节点就是一个ES服务实例，通过配置集群名称cluster.name加入集群 那么节点是如何通过配置相同的集群名称加入集群的呢？要搞明白这个问题，我们必须先搞清楚ES集群中节点的角色。 ES中节点有角色的区分的，通过配置文件conf/elasticse ......
集群模式
一、Redis Cluster 1、Redis集群方案的演变 大规模数据存储系统都会面临的一个问题就是如何横向拓展。 当你的数据集越来越大，一主多从的模式已经无法支撑这么大量的数据存储，于是你首先考虑将多个主从模式结合在一起对外提供服务，但是这里有两个问题就是如何实现数据分片的逻辑和在哪里实现这部分 ......
MySQL集群
一、MySQL集群方案 1、常见MySQL集群方案 1.1、Replication 特点： 速度快 弱一致性 适用于低价值数据： 日志 新闻 帖子 1.2、PXC 特点： 速度慢 强一致性 适用于高价值数据： 订单 账户 财务 1.2.1、PXC原理 全称（Percona XtraDB Cluste ......
window下rabbitmq安装教程
RabbitMq简介1.1消息队列中间件简介消息队列中间件是分布式系统中重要的组件，主要解决应用耦合，异步消息，流量削锋等问题实现高性能，高可用，可伸缩和最终一致性[架构] 使用较多的消息队列有 ActiveMQ（安全），RabbitMQ，ZeroMQ，Kafka（大数据），MetaMQ，Rocke ......
day16监控体系部署管理-K8S集群层面监控-基于Prometheus的HPA自动伸缩 (7.1-7.2)
一、打造基于Prometheus的全方位监控平台 1.1 前言 官网：https://prometheus.io/docs/prometheus/latest/getting_started/ 灵活的时间序列数据库 定制各式各样的监控规则 Prometheus的开发人员和用户社区非常活跃 独立的开源 ......
hadoop集群常见错误
虚拟及没有启动任何服务器查看jps会显示jps，如果没有显示任何东西 [root@slave2 ~]# jps 9647 Jps 解决方案 # 进入/tmp查看 [root@slave1 dfs]# cd /tmp [root@slave1 tmp]# ll 总用量 48 drwxr-xr-x. 2 ......
Kubernetes管理应用程序、服务常用命令、集群监视
1、如何使用Kubernetes管理应用程序 1.1 查看集群信息： kubectl cluster-info: 显示集群信息。 kubectl config view: 显示当前kubectl配置信息。 1.2 查看资源状态： kubectl get pods: 查看所有Pod的状态。 kubec ......
什么是集群,什么是负载均衡
tags: 集群 负载均衡 author: zhanglei data: 2023-11-29 什么是集群？什么又是负载均衡？你说得清楚吗？ - 知乎 (zhihu.com) ......
RabbitMQ
RabbitMQ入门 1、什么是MQ 消息队列（Message Queue），是基础数据结构中 “先进先出” 的一种数据结构。 一般用来解决应用解耦、异步消息、流量削峰等问题，实现高性能、高可用、可伸缩和最终一致性架构。 2、MQ的作用 1、流量消峰 当有一家商店，最多可以访问100人访问，这时人流 ......
k8s集群安装
在三台机器上都执行如下命令操作： 1、关闭防火墙 systemctl stop firewalld systemctl disable firewalld 2、关闭 selinux sed -i 's/enforceing/disabled/' /etc/selinux/config # 永久关闭 ......
SpringBoot集成多个RabbitMq（多个MQ链接）
##2023年12月16日 20:25:36 项目中使用RabbitMQ作为应用间信息互通，本次梳理下关于MQ的使用。 1、引入依赖 <!-- 引入依赖，使用v2.5.6版本 --> <dependencies> <dependency> <groupId>org.springframework.b ......
helm部署Kafka集群
1.准备文件 1.1.创建命令空间 kubectl create ns kafka 1.1.helm包拉取本地 # 添加bitnami仓库 helm repo add bitnami https://charts.bitnami.com/bitnami # 查询chart helm search r ......
kubeadm使用docker搭建k8s 1.27.2高可用集群
系统基础优化 #系统版本：Ubuntu22.04 #docker版本：20.10 #kubeadm版本：1.27.2 root@k8s-master1:~# cat /etc/sysctl.conf ################################################## ......
C++聊天集群服务器7
一、引入redis队列 在上一篇博客里我们已经为服务器配置了基于nginx的tcp负载均衡，提高了服务器的并发量，但是相应的之前也会存在一个问题，那就是多个客户端可能连接在不同的服务器，那这几个客户端如何通信呢？这就需要引入这次的内容：redis中间件，我们通过redis来作为一个中间消息转发者 ......