集群rabbitmq

centos安装rabbitmq

centos 安装 rabbitmq 官网地址: https://www.rabbitmq.com/download.html 安装rabbitmq 需要依赖erlang语言,erlang安装包: https://github.com/rabbitmq/erlang-rpm/releases rab ......
rabbitmq centos

rabbitmq 安装步骤

背景: RabbitMQ由Erlang语言开发的,所以安装RabbitMQ之前,要先安装Erlang 首先需要确认需要安装的RabbitMQ版本,例如3.7.8 确认与3.7.8对应的Erlang版本,访问 https://www.rabbitmq.com/which-erlang.html 可确认 ......
rabbitmq 步骤

分布式集群与多线程高并发

后台数据的处理语言有很多,Java 是对前端采集的数据的一种比较常见的开发语言。互联网移动客户端的用户量特别大,大量的数据处理需求应运而生。可移动嵌入式设备的表现形式 很多,如 PC 端,手机移动端,智能手表,Google 眼镜等。Server2client 的互联网开发模式比较常见,有一种新的数据 ......
分布式 集群 线程

基于docker容器,搭建hadoop+spark+hive+hbase+Zookeeper Scala集群

1.安装Docker和Docker Compose 2.下载镜像 docker pull bde2020/hadoop-base:2.0.0-hadoop3.2.1-java8 docker pull bde2020/hadoop-namenode:2.0.0-hadoop3.2.1-java8 d ......
集群 容器 Zookeeper docker hadoop

ETCD集群key超出200w给etcd压力太大,导致集群调度器延迟

背景: 业务在做测试的时候,突然集群不可用了,无法做出变更了,找到我们平台侧,经过排查,发现controller-manager调度器出现问题,经过查看,调度器不可使用, 处理 方案: 删除etcd集群的key 查询etcd集群中的key的数量: #etcd的命令行 etcdctl="/opt/et ......
集群 压力 ETCD 200w etcd

利用kubeadm创建高可用集群

前言 本页的高可用是控制平面组件的高可用部署,同时还分为2种情况:堆叠etcd和外部etcd。使用kubeadm部署多master节点很方便,大体是3个步骤:使用init参数初始化好第一个master节点,然后其余的master节点使用join命令加入到master集群中,形成一个高可用的maste ......
集群 kubeadm

使用kubeadm创建集群

前言 k8s集群在Node节点数量少的情况下,逐台去维护是可行的,但是如果Node节点数量多的情况下,再去想着我大不了一台一台来维护可能就不现实了。而且k8s的每个版本都差不多只有14个月的支持时间。可能还没稳定下来,一个新的版本已经更新了。这样一来版本升级的工作就变的会比较多一些。为了能够保证k8 ......
集群 kubeadm

大规模集群的注意事项

简介 一提到大规模这三个字,就联想到数据中心机房中一排排的物理服务器,在早期还是购买物理机找托管机房的年代,很多时间都在机房中维护服务器,那声音吵得耳朵疼,现在的运维工程师幸福多了。 注意事项 集群峰值 k8s1.28版本单个集群支持5000个工作节点,每个节点Pod数量不超过110,pod总数不超 ......
集群 大规模 注意事项 事项

K8S集群搭建

集群搭建的几种方式 kubeadm 通过kubeadm init、kubeadm join快速部署集群。 二进制包 下载官方编译好的二进制文件,手动部署,比较麻烦。。 第三方工具、web端 第三方提供的部署工具、web部署端。 kubeadm部署k8s集群 实验环境 master节点: IP:10. ......
集群 K8S K8 8S

MongoDB分片+副本集高可用集群的启停步骤

■■ 集群启动步骤 1、先启动各节点的 config server mongod -f ${MongoDir}/conf/config.conf 2、再启动各节点的 shard server mongod -f ${MongoDir}/conf/shard1.conf 3、再启动各节点的 mongo ......
副本 集群 步骤 MongoDB

掌握 Kubernetes 故障排除:有效维护集群的最佳实践和工具

Kubernetes 是一款管理容器化应用程序的强大工具。然而,与任何复杂的系统一样,使用它时也可能出错。当问题出现时, 掌握有效的故障排除技术和工具非常重要。 本文将介绍以下步骤,助您了解事件收集的入门知识: 检索最新事件 使用 Pod 模拟问题 在位于 PV 的 Pod 中存储事件 检索最新事件 ......
集群 Kubernetes 故障 工具

两台实体机器4个虚拟机节点的Hadoop集群搭建(Ubuntu版)

安装Ubuntu Linux元信息 两台机器,每台机器两台Ubuntu Ubuntu版本:ubuntu-22.04.3-desktop-amd64.iso 处理器数量2,每个处理器的核心数量2,总处理器核心数量4 单个虚拟机内存8192MB(8G),最大磁盘大小30G 参考链接 清华大学开源软件镜像 ......
节点 集群 实体 机器 Hadoop

Redis 集群

sentinel模式基本可以满足一般生产的需求,具备高可用性。但是当数据量过大到一台服务器存放不下的情况时,主从模式或sentinel模式就不能满足需求了,这个时候需要对存储的数据进行分片,将数据存储到多个Redis实例中。cluster模式的出现就是为了解决单机Redis容量有限的问题,将Redi ......
集群 Redis

kubeadm部署k8s集群

一、系统环境准备 1、系统环境说明 系统环境说明 系统 角色 IP 组件 K8s版本 centos7.9 kubeadm-master1 192.168.100.41 docker,kubeadm,kubelet,kubectl v1.20.0 centos7.9 kubeadm-master1 1 ......
集群 kubeadm k8s k8 8s

关于 RabbitMQ 做消息推送的一点记录

先说需求,需求是很简单的,也就是假设有10w+的用户,每个用户都需要维护一个长链,那么就不可能单机,就需要分布式,而分布式的就需要确保精确推送,确保用户A的数据确实能被推送到用户A连接的机器那,所以一个主要思路就是用消息队列的routing key的逻辑去做 确保所有节点订阅了一个topic,并持有 ......
RabbitMQ 消息

hadoop集群 大数据项目实战_电信用户行为分析_day04

进行HIVE环境配置 1.上传相关的包 2.对上传的包进行下载和创建软连接 3.配置相关的文件 4.分别发送给其他机子 假设你需要在所有机器执行同一个指令,则你就需要相关设置 5.在hive的onf文件中创建hive-site.xml进行相关设置 ```xml<configuration> <-- ......
行为分析 大数 集群 实战 行为

它让你1小时精通RabbitMQ消息队列、且能扛高并发

支持.Net Core(2.0及以上)与.Net Framework(4.5及以上) 本文所述方案近期被江苏省某亿级数据量+高并发的政府"物联网"项目采用,获得圆满成功!! 【目录】 发送消息、获取消息、使用消息 延时队列 & 死信队列 展望 RabbitMQ作为一款主流的消息队列工具早已广受欢迎。 ......
队列 RabbitMQ 消息 小时

Rabbitmq消息队列调优

RabbitMQ每增加一个连接,Erlang都会给这个连接分配三个Erlang进程,每个进程都会分配一定大小内存空间,所以随着连接数的增长,内存和Erlang进程数呈现有规律的增长,所以RabbitMQ连接数的无限增大会压垮mq服务,导致RabbitMQ服务崩溃。 客户端与RabbitMQ建立的是长 ......
队列 Rabbitmq 消息

部署redis-cluster集群

参考: https://www.cnblogs.com/paul8339/p/11987345.html https://mikechen.cc/31360.html https://zhuanlan.zhihu.com/p/637366705 本文使用一台虚拟机部署6个不同端口的redis实例 1 ......
集群 redis-cluster cluster redis

Oracle集群升级迁移—主机网络设置及交换机侧bond vlan划分

目录Oracle集群升级迁移—主机网络设置及交换机bond vlan划分网络规划操作系统层面的IP设置bond类型介绍设置bond1和bond0交换机侧的设置(省略) Oracle集群升级迁移—主机网络设置及交换机bond vlan划分 网络规划 按照工程师要求,配置了5个IP供集群使用。1个IP为 ......
集群 交换机 主机 Oracle 网络

RabbitMQ 安装与配置

1.安装 Erlang 下载地址:https://www.erlang.org/downloads 下载文件为 otp_win64_26.1.1.exe ,点击安装,如下图: 默认安装地址为 C:\Program Files\Erlang OTP,可自行修改安装地址(这里将安装地址改为 D 盘) 安 ......
RabbitMQ

CDH集群日志清理

CDH集群日志清理 一、查看磁盘占用情况 df -h 二、查看日志占用情况 cdh的各种组件日志一般在 /var/log 目录下,因此需要关注“/”根目录, 查看 /var/log 下使用空间较大的文件夹,并又大到小排列 cd /var/log/ du -s ./* |sort -nr 还有一个是 ......
集群 日志 CDH

Oracle集群升级迁移——存储及主机连接配置

目录Oracle集群升级迁移——存储及主机连接配置存储映射新LUN给Oracle新集群旧存储删除multipath.conf删除相应磁盘将主机和主机组里剔除磁盘,在从LUN、LUN组删除新建磁盘映射给Oracle数据库(映射前需要划Zone)映射完毕,刷新主机配置并修改multipath.conf文 ......
集群 主机 Oracle

就这么一段代码,跑死了我的笔记本 C# RabbitMQ 消息队列

十年河东,十年河西,莫欺少年穷 学无止境,精益求精 为了实现RabbitMQ的延迟队列,我做了如下代码 也就是如下代码,将我的电脑跑死了好几次 入口函数如下: public static void Main(string[] args) { for(int i = 0; i < 10; i++) { ......
队列 RabbitMQ 消息 代码 笔记本

VM部署HDFS集群

上传hadoop-3.3.4.tar.gz到/export/server 解压 tar -zxvf hadoop-3.3.4.tar.gz -C /export/server/ # 快捷方式 ln -s /export/server/hadoop-3.3.4 hadoop Hadoop安装包目录结构 ......
集群 HDFS

Oracle集群升级迁移—老集群磁盘切割

目录Oracle升级迁移剔除磁盘腾出存储LUNGRID用户登录,查询ASM磁盘剔除磁盘 Oracle升级迁移 目前有两套Oracle采用ADG + RAC架构,其中备库使用的为SUSE12.4目前已EOS,文件系统BFTFS与Oracle兼容性据说也有一定的问题,决定对现有的集群进行升级,升级后服务 ......
集群 磁盘 Oracle

kubeadm安装k8s集群

kubeadm安装k8s集群 一、机器准备(所有的master和node节点需要执行) 部署k8s集群的节点按照用途可以划分为如下2类角色: master:集群的master节点,集群的初始化节点,基础配置不低于2c 4g slave:集群的slave节点,可以多台,基础配置不低于1c 2g 主机名 ......
集群 kubeadm k8s k8 8s

hadoop集群 大数据项目实战_电信用户行为分析_day03

配置系统环境 Reis 1.先把之前的dump.rdb删除掉 rm -rf dump.rdb 2.把原始项目给的dump.rdb 放进来,它里面包含了需要的数据,比如端口;在这部之前必须要进行关闭端口,随后传送文件,最后重启端口 相关指令: bin/redis-server conf/redis.c ......
行为分析 大数 集群 实战 行为

Centos7系统二进制安装Kubernetes(v1.18)集群

一、环境准备 1、集群环境 集群环境 角色 IP 组件 k8s-master01 192.168.100.31 kube-apiserver、 kube-controllermanager、 kube-scheduler、 etcd k8s-master02 192.168.100.32 kube- ......
二进制 集群 Kubernetes Centos7 Centos

Nacos集群搭建

Nacos安装指南(windows版本):https://www.cnblogs.com/gfl-1112/p/17771364.htmlNacos安装指南(Linux版本):https://www.cnblogs.com/gfl-1112/p/17771373.htmlNacos的依赖:https ......
集群 Nacos