集群rabbitmq
hadoop集群搭建及编程实践
Hadoop集群搭建 前期准备及JDK,hadoop安装 设置主机名和添加主机映射 验证连通性 SSH无密码登录 配置集群/分布式环境 修改workers 修改文件core-site.xml 修改hdfs-site.xml 修改mapred-site.xml 修改yarn-site.xml 分发到其 ......
使用 Rancher 部署管理 K8S 集群
目录使用 Rancher 部署管理 K8S 集群主机规划部署 docker-ce(rancher)部署 rancher 使用 Rancher 部署管理 K8S 集群 主机规划 主机名称 角色 IP 地址 基础软件 rancher 管理 k8s 集群 10.0.0.203 docker-ce mast ......
Linux上快速安装 RabbitMQ
1.默认安装最新版,安装erlang apt-get install erlang 2.安装最新版 rabbitmq sudo apt-get update sudo apt-get install rabbitmq-server 3.配置管理端Web系统 rabbitmq-plugins enab ......
实现haproxy+keepalived集群高可用集群转发
#环境:centos8 10.0.0.150 ka1 10.0.0.160 ka2 10.0.0.170 web1 10.0.0.180 web2 10.0.0.190 client ######ka1配置 #安装软件包 [root@ka1 ~]#yum install -y haproxy kee ......
Zookeeper集群部署
1.#ZooKeeper 使用场景 ZooKeeper 是一个分布式服务框架,它主要是用来解决分布式应用中经常遇到的一些数据管理问题,如:命名服务、状态同步、配置中心、集群管理等。 #命名服务: 命名服务是分布式系统中比较常见的一类场景。命名服务是分布式系统最基本的公共服务之一。在分布式系统中,被命 ......
docker部署nacos集群
环境准备 系统 ip 插件 centos7 10.190.107.191 docker、nginx centos7 10.190.107.192 docker、nacos centos7 10.190.107.193 docker、nacos centos7 10.190.107.194 docke ......
【高可用】alertmanager高可用,alertmanager集群
【1】alertmanager集群高可用介绍 (1.1)基本介绍 Alertmanager成为单点 为了提升Promthues的服务可用性,通常用户会部署两个或者两个以上的Promthus Server,它们具有完全相同的配置包括Job配置,以及告警配置等。当某一个Prometheus Server ......
rabbitMQ快速入门
rabbitMQ快速入门 一、消息队列简介 MQ:全称Message Queue,消息队列,是一种进程间通信或同一进程的不同线程间的通信方式,软件的贮列用来处理一系列的输入,通常是来自用户。消息队列提供了异步的通信协议,每个贮列中的记录包含详细说明的数据,包含发生的时间、输入设备的种类等,也就说消息 ......
简述redis集群的实现原理
为了解决单机性能的瓶颈,提高Redis 性能,可以使用分布式集群的解决方案 1. 所有Redis节点使用(PING机制)互联 2. 集群中某个节点的是否失效,是由整个集群中超过半数的节点监测都失效,才能算真正的失效 3. 客户端不需要proxy即可直接连接redis,应用程序中需要配置有全部的red ......
ansible-kube集群部署项目简述
ansible-kube集群部署项目简述 1.目录要求 介于证书生成文件和一些脚本使用了绝对路径;必须将ansible.tgz 包解压到 /ansible 路径下。 工作路径必须为 /ansible/Playbooks/k8s_deploy 2.目录结构以及功能概要 ├── k8s_deploy # ......
RabbitMQ 集群搭建和仲裁队列的使用
RabbitMQ 是基于 Erlang 语言开发的,该语言天然支持集群分布式模式,因此部署 RabbitMQ 集群非常简单。 RabbitMQ 的集群部署有两种模式: 普通集群:又称为标准集群,是一种分布式集群,将队列分散到集群的各个节点,提高整个集群的并发能力。 镜像集群:在普通集群的基础上,添加 ......
k8s之集群部署(kubeadm)
[master&node] 1.修改主机名 hostnamectl set-hostname master-01 cat >> /etc/hosts << EOF 172.28.32.1 master-01 172.28.32.2 worker-01 EOF 2.配置阿里云官方源 mkdir -p ......
RabbitMQ 死信交换机、延迟队列、惰性队列
如果一个队列设置了死信交换机,该队列的消息就有了极大的可靠性保障,当出现以下情况时,消息就会投递到死信交换机中: 队列中的消息在被消费者处理后,抛出异常,返回了 nack 或者 reject 如果队列设置了 ttl 或者消息本身设置了 ttl ,消息因为超时而未消费 队列容量已经满了,后续发来的消息 ......
redis集群搭建注意事项
官方教程:https://redis.io/docs/management/scaling/ 其他参考: https://note.youdao.com/ynoteshare/index.html?id=174eaa7104ce961f8012d521d8155bd9&type=note&_time ......
RabbitMQ 消息发送和消费的可靠性保障
在一些比较重要的场景中,我们必须要保障 RabbitMQ 消息的可靠性,也就是发送给 rabbitmq 的消息必须最终成功,消费者接收消息进行处理也必须最终成功。即使是中间失败了,也必须要有其它保障措施,哪怕最后进行人工进行干预处理。 消息出现丢失的场景主要有: 发送消息时丢失:比如消息发送到交换机 ......
Redis主从及哨兵及集群相关介绍
主从模式 为了避免单点故障 和 读写不分离,Redis 提供了复制(replication)功能,master数据库中的数据更新后,会自动将更新的数据同步到其他slave数据库上。 优点: 主从结构具有读写分离,提高效率、数据备份,提供多个副本等优点。 不足: 大的不足就是主从模式不具备自动容错和恢 ......
hadoop HA高可用集群搭建
首先是四项配置 core-site.xml <?xml version="1.0" encoding="UTF-8"?> <?xml-stylesheet type="text/xsl" href="configuration.xsl"?> <!-- Licensed under the Apach ......
使用 Terraform 创建K8S集群
使用Terraform创建Kubernetes(K8S)集群是一个强大的自动化过程,它可以让您轻松地部署和管理K8S环境。以下是一般步骤以及示例Terraform配置文件的概述,用于创建K8S集群。 ......
安装Rabbitmq
1、查看系统版本 uname -a,centos7需要下载el7版本的安装包 2、下载对应版本的erlang、socat、rabbitmq的rpm安装包,下载地址如下: 1)https://github.com/rabbitmq/erlang-rpm/releases 2)http://www.rp ......
rabbitmq快速入门
镜像启动命令 docker run \ -e RABBITMQ_DEFAULT_USER=root \ -e RABBITMQ_DEFAULT_PASS=123456 \ --name mq \ --hostname mq1 \ -p 15672:15672 \ -p 5672:5672 \ -d ......
.NET Core 使用RabbitMQ
RabbitMQ简介 AMQP,即Advanced Message Queuing Protocol,高级消息队列协议,是应用层协议的一个开放标准,为面向消息的中间件设计。消息中间件主要用于组件之间的解耦,消息的发送者无需知道消息使用者的存在,反之亦然。 AMQP的主要特征是面向消息、队列、路由(包 ......
docker-compose部署rabbitmq
docker-compose部署rabbitmq docker-compose部署rabbitmq单机 创建一个rabbitmq.yml的文件 version: '3' services: rabbit: image: rabbitmq:3.8-management hostname: rabbit ......
k8s 监控(二)监控集群组件和 pod
原文链接:https://juejin.cn/post/6844903921207492621 在上一篇文章中,我们已经在 k8s 中安装了 Prometheus,并且收集了它自身的监控指标。而在这篇文章,我们将收集 k8s 所有组件和 pod 的监控指标。 在这之前需要先修改下之前监控 Prome ......
kubernetes集群搭建2023
参考: https://zhuanlan.zhihu.com/p/627310856(比较详细的一篇k8s集群部署文章) https://www.cnblogs.com/libruce/p/17477374.html 或者 https://zhuanlan.zhihu.com/p/590652259 ......
Kafka 集群副本数量调整
Kafka 创建时未指定多个副本或者副本数量过少,都可以在后期手动添加,另外如果副本过多也可以减少,当前调整基于 Kafka 的版本是 2.5.1,但是估计 2.1 ~ 2.5 应该都是兼容的。 下面先来操作一下 Topic 副本减少的过程,首先查看 Kafka Topic 的详情: # 新版本的 ......
rabbitmq持久化
一:消息持久化 RabbitMQ并不是用来存储数据的,而是用来传输消息的中间件。因此,如果需要存储数据,应该使用数据库或者其他合适的工具,而不是RabbitMQ。 如果需要使用RabbitMQ来传输消息,并且希望消息能够被持久化存储,可以采取以下措施: 1. 使用持久化队列:在声明队列的时候设置du ......
RabbitMQ
MQ基本概念 概述 MQ全称 Message Queue(消息队列),存储消息的中间件,是在消息的传输过程中保存消息的容器。多用于分布式系统之间进行通信。 分布式系统通信两种方式:直接远程调用和借助第三方完成间接通信;发送方称为生产者,接收方称为消费者 优势 应用解耦:提高系统容错性和可维护性(系统 ......
RabbitMQ报错:Shutdown Signal: channel error; protocol method
Shutdown Signal: channel error; protocol method: #method<channel.close>(reply-code=406, reply-text=PRECONDITION_FAILED - unknown delivery tag 1, class ......
Hadoop集群搭建(完全分布式)
一,Hadoop集群简介 1.1 Hadoop集群整体概述 Hadoop集群包括两个集群:HDFS集群、YARN集群 两个集群逻辑上分离、通常物理上在一起 两个集群都是标准的主从架构集群 Hadoop两种集群内容: 逻辑上分离,物理上合并的理解: 逻辑上分离:两个集群互相之间没有依赖、互不影响 物理 ......