kafka集群
天梯赛练习题 L3-003 社交集群 （简单并查集）
https://pintia.cn/problem-sets/994805046380707840/exam/problems/994805053141925888 题目大意： 当你在社交网络平台注册时，一般总是被要求填写你的个人兴趣爱好，以便找到具有相同兴趣爱好的潜在的朋友。一个“社交集群”是指部 ......
高可用K8S集群中Master加入集群的时候报错：error execution phase check-etcd：解决方法
报错信息： 报错原因： 1、这个问题我找了两天没找到，最后找到网络的问题，我做的有双网卡，导致Master02和Master03服务器抢一个虚拟IP。 2、Master02先抢到这个IP，Master03就没有这个IP了，所以就会报错。 3、配置文件中指定了eth1的网卡，但在加入集群的时候，Mas ......
Spring Cloud Alibaba系列(三)微服务配置管理和服务管理组件Nacos高可用集群的搭建
网络上Nacos的文章很多，大部分都只说到了怎么搭建单机版本，这里来说说Nacos的集群。 Nacos是Spring CLoud ALibaba重要组件，起了注册中心和配置中心作用。 首先微服务中通过以下pom.xml配置即可集成nacos，大家要尽量使用starter少自定义零碎依赖，否则版本不好 ......
lvs+keepalived集群
使用lvs+keepalived架构架构实现后端web服务器（该web服务器要求搭建wordpress博客站）的负载均衡 最终客户端访问域名 我的名字.wordpress.cn 能够访问搭建的博客站 ，达到负载均衡的目的 IP 主机名 角色 192.168.26.101 rs1 后端真实服务器/ng ......
Apache Kafka JNDI注入(CVE-2023-25194)漏洞复现浅析
Apache Kafka是一个开源的分布式事件流平台，被数千家公司用于高性能数据管道、流分析、数据集成和任务关键型应用程序。 ......
elasticsearch集群扩展新节点
原集群配置 原来集群的节点不需要做任何修改和重启服务,新节点符合条件会自动加入集群 新节点配置 配置文件的集群名字和nodename配置好即可 cluster.name: taishiescluster node.name: node-195 #cluster.name集群名称和原来的一样 #nod ......
集群crsd服务失败报crs-4535错误
出以上错误可以单独重启crsd服务，不影响数据库正常使用 [root@ht02 ~]# /u01/app/grid/bin/crsctl stop res ora.crsd -init -fCRS-2673: Attempting to stop 'ora.crsd' on 'ht02'CRS-26 ......
在k8s集群中，如何知道某个pod ip段，是属于哪个主机的？
问题：你如何才能知道，k8s集群中，某个pod网段是属于节点的？ 有两种方法，可以轻松获取到pod网段所在的主机信息... 方法 一 ：通过kubectl get pod -o wide来查看 [root@nccztsjb-node-16 ~]# kubectl get pod -A -o wide ......
初识Kafka
介绍 Kafka Kafka 是一款基于发布与订阅的消息系统。 用生产者客户端 API 向 Kafka 生产消息，用消费者客户端 API 从 Kafka 读取这些消息。 Kafka 使用 Zookeeper 保存元数据信息。 Kafka 0.9 版本之前，除了 broker 之外， 消费者也会使用 ......
kafka消息堆积，consumer掉线
注：本文转自：https://www.toutiao.com/article/7160323779812983296/?log_from=5abd712547149_1679497545032 线上kafka消息堆积，所有consumer全部掉线，到底怎么回事？ 最近处理了一次线上故障，具体故障表现 ......
KeepAlived+HaProxy 热备切换Rabbitmq集群
一、集群简介 1.1 集群架构 当单台 RabbitMQ 服务器的处理消息的能力达到瓶颈时，此时可以通过 RabbitMQ 集群来进行扩展，从而达到提升吞吐量的目的。RabbitMQ 集群是一个或多个节点的逻辑分组，集群中的每个节点都是对等的，每个节点共享所有的用户，虚拟主机，队列，交换器，绑定关系 ......
python处理kafka数据
1、程序作用：从多个topic中读取数据--处理数据--写入新的kafkatopic中 pip3 install kafka-python import json from kafka import KafkaProducer from kafka import KafkaConsumer #消费者 ......
解决Kafka总是丢消息的方法和原理
注：本文转自：https://www.toutiao.com/article/7210953985497678347/?log_from=f0ecce317abb8_1679450040551 引入 MQ 消息中间件最直接的目的：系统解耦以及流量控制（削峰填谷）。 系统解耦： 上下游系统之间的通信相 ......
集群初始化
1）创建集群： 在master中执行： kubeadm init --apiserver-advertise-address=192.168.135.133 --image-repository registry.aliyuncs.com/google_containers --kubernetes ......
golang解决kafka消息丢失
Kafka是一个高吞吐量的分布式发布订阅消息系统，由于其高效的消息传递机制，被广泛应用于大规模数据处理、日志收集和实时数据流处理等场景中。但是，由于网络、硬件等原因，Kafka的消息有时可能会出现丢失的情况。下面是一些Go语言中解决Kafka消息丢失问题的方法： 1.设置合适的Kafka配置 在创建 ......
golang解决kafka消息重复发送和重复消费
1、解决消息重复发送 当使用Kafka生产者发送消息时，可以设置消息的Key，使用Key来保证相同Key的消息不会被重复发送。在发送消息时，可以使用带Key的消息发送方式，如下所示： msg := &sarama.ProducerMessage{ Topic: "test", Partition: ......
zookeeper原理及集群部署
#背景 知识梳理 #原理 ZooKeeper是一个分布式的，开放源码的分布式应用程序协调服务，是Google的Chubby一个开源的实现，是Hadoop和Hbase的重要组件。它是一个为分布式应用提供一致性服务的软件，提供的功能包括：配置维护、域名服务、分布式同步、组服务等。 Zookeeper的核 ......
通过命令管理ceph集群
通过命令管理ceph集群 阅读目录 ceph 集群维护 回到顶部 ceph 集群维护 http://docs.ceph.org.cn/rados/ ceph 集群配置、部署与运维 通过套接字进行单机管理 在ceph的节点上使用socket管理只针对ceph的节点单机管理并不会对所有节点生效 node ......
rabbitmq集群
下载的镜像创建和启动容器 docker run --name rabbitmq \ # 主机名（RabbitMQ的一个重要注意事项是它根据所谓的 “节点名称” 存储数据，默认为主机名） --hostname myRabbit \ # 5672：应用访问端口 -p 5672:5672 \ # 1567 ......
Linux 部署：kafka（虚拟机集群）
参考文档：https://blog.csdn.net/wt334502157/article/details/116518259 1. 节点规划 | 节点 | ip | | | | | vm81 | 10.99.0.81 | | vm82 | 10.99.0.82 | | vm83 | 10.99. ......
Linux 部署：zookeeper （容器集群）
参考文档：https://www.cnblogs.com/EminemJK/p/15138536.html 1. 节点规划 | 节点 | ip | | | | | vm81 | 10.99.0.81 | | vm82 | 10.99.0.82 | | vm83 | 10.99.0.83 | 2. 部 ......
手把手教你二进制安装生产环境 K8s 多 master 节点高可用集群详细图文教程
目录 一、集群环境准备 1.1 kubeadm 和二进制安装 k8s 适用场景分析 1.2 多 master 节点高可用架构图 二、基础环境配置（以下操作所有节点都得执⾏） 2.1 初步的环境初始化 2.2 关闭交换分区 swap 提升性能 2.3 修改机器内核参数 2.4 配置阿里云的 repo ......
K8s学习（一）从零开始搭建kubernetes集群环境（虚拟机/kubeadm方式）
K8s学习（一）从零开始搭建kubernetes集群环境（虚拟机/kubeadm方式） 1 Kubernetes简介（k8s） 传统部署：互联网早期会直接将应用程序部署在物理机上或者虚拟操作系统中，如部署到tomcat/weblogin/websphere等，这种部署方式比较简单，但是很难合理地分配 ......
LVS负载均衡集群
一、集群概述 1. 什么是集群 Cluster:集群，同一个业务系统，部署在多台服务器上。集群中，每台服务器实现功能无差别，数据和代码都是一样的。 2. 为什么要使用集群 2.1 原因 互联网应用中，随着站点对硬件性能、响应速度、服务稳定性、数据可靠性等要求越来越高，单台服务器已经无法满足负载均衡及 ......
Kubernetes集群Kubernetes实战与源码剖析体系进阶
Kubernetes集群Kubernetes实战与源码剖析体系进阶 学习路线指南 欢迎大家来到jiangxl~的《Kubernetes集群方方面面进阶之路》专栏，本文给大家详细列出Kubernetes集群方方面面每一章节文章指南，大家可以根据自己的需求阅读想要学习的文章。 本专栏涵盖Kubernet ......
HDP集群配置phoenix
1、说明 使用ambari+HDP集群安装的hbase，已经自带了phoenix，并已经做了集成； 这里需要修改/添加几个配置即可； 2、配置 #启用用户自定义函数(UDF) <property> <name>phoenix.functions.allowUserDefinedFunctions</ ......
大数据之—kafka集群环境
前言 参考：https://blog.csdn.net/huxili2020/article/details/120371459 一、安装 mkdir -p /opt/kafka && cd /opt/kafka tar -zxvf /opt/kafka/kafka_2.13-3.3.1.tgz m ......
大数据之—HBase集群环境搭建
前言 参考：https://blog.csdn.net/huxili2020/article/details/120459471 前置条件：Hadoop、Zookeeper 均需要正常的集群环境 官网：https://hbase.apache.org/downloads.html 软件仓库：http ......
Predixy 代理 Redis Cluster 集群
1、环境 服务器名称 IP地址 备注 predixy-161-130 10.32.161.130 Predixy redis-161-131 10.32.161.131 redis节点 redis-161-132 10.32.161.132 redis节点 redis-161-133 10.32.1 ......
Twemproxy（nutcracker）代理 Redis Cluster 集群
1、环境 服务名称 IP地址 备注 twemproxy-161-130 10.32.161.130 twemproxy (nutcracker) redis-161-131 10.32.161.131 redis节点 redis-161-132 10.32.161.132 redis节点 redis ......