集群kafka helm
Redis集群
集群 由于数据量过大，单个Master复制集难以承担，因此需要对多个复制集进行集群，形成水平扩展每个复制集只负责存储整个数据集 的一部分，这就是Redis的集群，其作用是提供在多个Redis节点间共享数据的程序集。 Redis集群是一个提供在多个Redis节点间共享数据的数据集 Redis集群可以支 ......
Kafka日志压实算法
概念介绍 我们有时候可以把Kafka当作key、value数据库用（当然kafka中的消息可以不指定key）。 __consumer_offsets 这个topic的数据，就是典型的key、value数据。 /usr/local/kafka2.8/bin/kafka-run-class.sh kaf ......
Redis集群
1.描述 集群，即是Redis Cluster。其由多个redis节点组成，redis数据保存在这些节点中。这些节点分为主节点和从节点：只有主节点负责读写请求和集群信息的维护，从节点只负责主节点数据和状态的复制。 2.作用 数据分区：redis集群是将数据分散存到多个节点中的。具体存到哪个节点是根绝 ......
LVS负载均衡集群
LVS Cluster，集群，群集 有多台主机构成，对外只表现为一个整体，只提供一个访问入口（域名或IP地址），相当于一台大型计算机 特点：由堕胎主机构成，都干同一件事，对外展现为一个整体 集群分类 根据集群针对的目标差异，可分为三种类型 负载均衡集群 (LB) 提高系统响应效率，处理更多的访问请求 ......
docker部署redis主从集群
1、创建数据目录（logs目录要给权限，要不然会报错） mkdir -pv /data/redis/(data,logs} chmod 777 /data/redis/logs 2、redis.conf 配置文件 -—-主从配置 master 节点配置 cd /data/redis vim redi ......
prometheus监控k8s集群信息（通过kubelet）
prometheus监控k8s集群信息（通过kubelet） 一、创建prometheus访问k8s权限账户（在k8s集群中操作）。 1、在k8s集群中创建服务账户 vim prometheus-sa.yaml apiVersion: v1 kind: ServiceAccount metadata ......
60道KafKa高频题整理（附答案背诵版）
废话不多说，直接上干货 简述什么是 Kafka 的 Topic ？ Kafka 的 Topic 是一个存储消息的逻辑概念，可以认为是一个消息集合。每条消息发送到 Kafka 集群的消息都有一个类别，这个类别就是 Topic。物理上来说，不同的 Topic 的消息是分开存储的，每个 Topic 可以有 ......
Helm Chart 部署 Redis 的完美指南
目录一、Helm介绍二、安装Helm三、配置Helm的repository四、部署chart（以部署redis为例）1. 搜索chart2. 拉取chart3. 修改values.yaml的一些配置（简单演示一下基本的配置）4. 启动chart5. 升级和回滚a. 升级b. 回滚 一、Helm介绍 ......
RocketMQ集群监控平台 rocketmq-console【转】
Run with docker Pull from docker hub(rocketmq-dashboard) docker pull apacherocketmq/rocketmq-dashboard:latest Run it (use your own rocketmq.namesrv.ad ......
创建一个Redis集群的启动命令并启动
第一步：进入到存放集群的目录里 cd /opt/cluster 如下图[红线圈中的目录]： 第二步：在此目录创建sh文件[示例为start.sh]，并打开编辑 vim start.sh 第三步： 在文件中，写入要执行的所有Redis端口命令 `redis-server /opt/cluster/60 ......
超算集群提交CFDEM作业（Slurm作业脚本）
CFDEM Coupling 官方Tutorial中包含了快捷运行算例的脚本，因此提交超算只需将Slurm（PBS）作业脚本中加入执行CFDEM命令即可。 此处利用了Tutorial中parCFDDEMrun.sh脚本。 完整的CFDEM算例目录中应包含CFD/、DEM/、SlurmRun.sh、p ......
安装NETDATA集群监控面板
安装NETDATA集群监控面板 介绍 官方链接 演示网页：https://my-netdata.io/ 官方首页：http://netdata.cloud/ 文档地址：http://docs.netdata.cloud github地址：https://github.com/netdata/netd ......
kafka kafka-ui 单机部署
1. 下载 https://kafka.apache.org/downloads 解压压缩包，以/root/kafka为例 2. 启动zk /root/kafka/bin/zookeeper-server-start.sh /root/kafka/config/zookeeper.propertie ......
Docker安装Kafka安装zookeeper教程(超详细)
1 Docker安装Kafka安装zookeeper教程(超详细) 2 app-tier:网络名称 3 -driver:网络类型为bridge 4 1.docker network create app-tier --driver bridge 5 6 1、安装zookeeper 7 Kafka依赖 ......
SAP-APP-服务器组-pacemaker集群的基础环境的安装部署-001
1、安装 pacemaker 相关的软件及可能会用到的软件，两台主机都需要安装 [root@app01 qq-5201351]# yum install nmap-ncat -y [root@app01 qq-5201351]# yum install pcs -y [root@app01 qq-5 ......
kubeadm安装k8s集群
1.机器准备 部署k8s集群的节点按照用途可以划分为如下2类角色： master：集群的master节点，集群的初始化节点，基础配置不低于2c 4g slave：集群的slave节点，可以多台，基础配置不低于1c 2g 这里教程是基于非高可用版本的k8s集群，高可用是指有多个k8s-master主节 ......
教你使用Prometheus-Operator进行K8s集群监控
本文分享自华为云社区《Promethues-operator入门使用指导》，作者：可以交个朋友。 一、 背景 在非operator配置的普罗中我们监控k8s集群都是通过配置configmap进行服务发现和指标拉取。切换到prometheus-operator难免会有些使用问题。不少用户已经习惯底层配 ......
prometheus监控k8s集群node节点/linux操作系统
prometheus监控k8s集群node节点/linux操作系统 一、监控linux操作系统 1、下载二进制包 wget https://github.com/prometheus/node_exporter/releases/download/v1.7.0/node_exporter-1.7.0 ......
Kafka集群搭建、注意事项及示例
1. 安装Zookeeper： Kafka依赖于Zookeeper来进行集群协调。确保安装了Zookeeper，并配置好。 2.下载和解压Kafka： 从官方网站下载Kafka，并解压到所需的目录。 3.配置Kafka： 修改Kafka的配置文件以适应集群环境。主要修改server.properti ......
centos7搭建kubernetes-v1.25.1集群（Containerd作为运行时）
集群配置 节点名称内存硬盘处理器内核总数ip master 6GB 40GB 6 192.168.67.166 node1 6GB 40GB 6 192.168.67.167 node2 6GB 40GB 6 192.168.67.168 一、所有节点更改镜像源 curl -o /etc/yum.r ......
elasticsearch安装-集群
下载安装包 国内镜像，速度非常快 https://mirrors.huaweicloud.com/elasticsearch/ https://mirrors.huaweicloud.com/kibana/ wget https://mirrors.huaweicloud.com/elasticse ......
数据库集群主键为什么不用uuid
主键用数字还是UUID？ UUID 是通用唯一识别码的缩写，其目的是让分布式系统中的所有元素，都能有唯一的辨识信息，而不需要通过中央控制端来做辨识信息的指定。在数据库集群中，为了避免每个MySQL各自生成的主键产生重复，所以有人考虑采用UUID方式。 使用UUID的好处 使用UUID，分布式生成主键 ......
Kafka消息丢失该如何处理
消息丢失是一个分布式系统中常见的问题，而Kafka本身有一些内置的机制来减少消息丢失的可能性。下面是一些处理Kafka消息丢失的方法，以及如何使用Java来实现： 1. 使用生产者确认： Kafka生产者可以配置为等待消息被确认的机制。通过配置acks属性，可以设置生产者在接收到多少个副本的确认后才 ......
Kafka与RabbitMQ区别
Kafka和RabbitMQ都是流行的消息传递系统，但它们在设计和用途上有一些重要的区别。以下是它们之间的一些主要区别： 1. 消息传递模型： Kafka：Kafka是一个分布式流处理平台，主要用于处理实时数据流。它采用发布-订阅模型，消息被持久化保存在日志中，允许多个消费者以不同的速率消费消息。 ......
kafka再均衡导致的消息积压分析
起因： 某天，项目组收到大量的kafka消息积压告警。查看了kafka日志后，发现 kafka不断地 rebalance(再均衡)。 Rebalance (再均衡)： 分区的所有权从一个消费者转移到另一个消费者，这样的行为被称为Rebalance (再均衡). 在再均衡期间，消费者无法消费消息，造成 ......
DataX vs 腾讯云COS对象存储 -> StarRocks集群
本文将介绍使用DataX读出Cos的Orc文件往StarRocks里面写。 需求: 需要将腾讯云cos上84TB的数据, 同步到StarRocks某个大表。正常每个分区数据量20~30亿，600GB。 工具：DataX插件：hdfsreader、starrockswriter对象存储COS：非融合 ......
docker swarm 部署一主两从的redis集群
docker-compose文件准备 docker-compose-redis-cluster.yml version: '3.8' services: redis-master: image: redis command: redis-server --requirepass your_passw ......
超算集群安装OpenFOAM-LIGGGHTS-CFDEM(普通用户权限-以CSU HPC CentOS7.9为例)
普通用户权限超算集群安装OpenFOAM-LIGGGHTS-CFDEM，由于缺少root权限，无法根据CFDEM官方instruction进行安装。 本文以CSU超算平台为例，利用普通用户权限进行编译安装。文章修正了已有教程中部分问题，特别感谢希望先生与记得小蘋初见教程。 1. 安装必要依赖包 此部 ......
Ranther管理K8S集群
什么是Ranther Rancher 是一个 Kubernetes 管理工具，让你能在任何地方和任何提供商上部署和运行集群。 Rancher 可以创建来自 Kubernetes 托管服务提供商的集群，创建节点并安装 Kubernetes，或者导入在任何地方运行的现有 Kubernetes 集群。 R ......