集群leader kafka
Kafka基础学习笔记
一、Kafka： 1、简介： Kafka是由Apache开源，具有分布式、分区的、多副本的、多订阅者，基于Zookeeper协调的分布式处理平台，由Scala和Java语言编写。最大的特性就是可以实时并高速的处理大量数据来满足需求，同时对消息数据进行持久化存储。 2、优点： Kafka与其他消息队列 ......
kafka代码实践
安装kafka： Windows安装kafka, 详情见：https://blog.csdn.net/sinat_32502451/article/details/133067851 Linux 安装kafka，详情见：https://blog.csdn.net/sinat_32502451/art ......
kafka代码示例
安装kafka： Windows安装kafka, 详情见：https://blog.csdn.net/sinat_32502451/article/details/133067851 Linux 安装kafka，详情见：https://blog.csdn.net/sinat_32502451/art ......
Ansible部署mariadb高可用集群
节点规划 主机名 IP地址 master 192.168.238.10 node1 192.168.238.11 node2 192.168.238.12 node3 192.168.238.13 准备四台虚拟机，使用CentOS-7-x86_64-DVD-2009.iso镜像 基础准备 1，安装a ......
shell 脚本一键部署 k8s 高可用集群
github地址： https://github.com/Johnny-Demo/deploy/tree/k8s-cluster 有不理解的地方可以私信我 ......
Nacos2.0.3集群搭建踩坑
Nacos2.0版本相比1.X新增了gRPC的通信方式，如果已经有Nacos集群，那么需要更改集群的配置方式，这里以Nginx为例，来介绍下如何搭建集群。 配置流程 新增端口是在配置的主端口(server.port)基础上，进行一定偏移量自动生成。 端口 与主端口的偏移量 描述 9848 1000 ......
Docker部署Redis集群----第三节（docker-redis集群主从复制【上】实现篇）
1、redis的集群方式有哪些？ 主从复制 哨兵集群 redis-cluster集群 本节课我们主要讲解主从复制，现在大家手上是否有一台属于自己的云服务器了呢，今天我们要做的就是在云服务器上搭建我们的第一个集群主从复制。在讲之前，首先我们来了解下为什么要用集群模式以及集群模式的优点、给我们的项目带来 ......
Docker部署Redis集群----第二节（docker安装centos和指令讲解）
1、安装docker 在安装前：先讲下，因为我们是在云服务上部署的，有时候会出现短时间不操作就会断开ssh远端连接记得加个心跳： [root@instance-rttngj1u ~]# vim /etc/ssh/sshd_config 在末尾添加这两行代码 ClientAliveInterval 6 ......
Docker部署Redis集群----第一节（docker初认识）
作者：逻辑链接：https://zhuanlan.zhihu.com/p/59183420来源：知乎著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。 1、Docker是什么？ docker是开源的应用容器引擎，我们可以理解为一个轻量级的“虚拟机”，开发者可以打包自己开发的应用或程 ......
怎么用Python写一个浏览器集群框架
这是做什么用的 框架用途 在采集大量新闻网站时，不可避免的遇到动态加载的网站，这给配模版的人增加了很大难度。本来配静态网站只需要两个技能点：xpath和正则，如果是动态网站的还得抓包，遇到加密的还得js逆向。 所以就需要用浏览器渲染这些动态网站，来减少了配模板的工作难度和技能要求。动态加载的网站在新 ......
Kafka 在分布式系统中的 7 大应用场景
Kafka 介绍 Kafka 是一个开源的分布式流式平台，它可以处理大量的实时数据，并提供高吞吐量，低延迟，高可靠性和高可扩展性。Kafka 的核心组件包括生产者（Producer），消费者（Consumer），主题（Topic），分区（Partition），副本（Replica），日志（Log）， ......
K8s - 安装部署Kafka、Zookeeper集群教程（支持从K8s外部访问）
本文演示如何在K8s集群下部署Kafka集群，并且搭建后除了可以K8s内部访问Kafka服务，也支持从K8s集群外部访问Kafka服务。服务的集群部署通常有两种方式：一种是 StatefulSet，另一种是 Service&Deployment。本次我们使用 StatefulSet 方式搭建 Zoo ......
kube-prometheus监控k8s集群内服务
一. 测试环境 1.1 服务器IP分布 节点 IP master-vip 10.255.61.20 tmp-k8s-master1 10.255.61.21 tmp-k8s-master2 10.255.61.22 tmp-k8s-master3 10.255.61.23 tmp-k8s-node1 ......
kafka基于SCRAM认证，快速配置启用ACL
启动和停止服务 zookeeper /usr/local/apache-zookeeper-3.8.2-bin/bin/zkServer.sh start /usr/local/apache-zookeeper-3.8.2-bin/bin/zkServer.sh stop kafka /usr/lo ......
kafka-ACL
本文档时在centos7直接部署添加认证的kafka文件基础上，做下面的修改实现ACL访问控制topic 参考：https://www.seaxiang.com/blog/Qpsqii 一. 添加多个kafka用户及相关的配置文件 1.kafka_server_jaas.conf KafkaServ ......
helm部署kafka鉴权以及ACL
官方文档 https://github.com/bitnami/charts/tree/main/bitnami/kafka https://blog.csdn.net/u011618288/article/details/129105777 (包含zookeeper与broker认证、鉴权流程) ......
centos7直接部署添加认证的kafka
前言 测试服务器：10.255.60.149 一. 安装jdk 官网下载jdk1.8版本以上的 https://www.oracle.com/java/technologies/downloads/ 测试系统版本为centos7，选择了最后一个下载后，使用rpm -ivh即可安装 二. 安装zook ......
docker-compose部署SASL认证的kafka
前言 测试服务器：10.255.60.149 一. 编写docker-compose文件 1.docker-compose.yml version: '3.8' services: zookeeper: image: wurstmeister/zookeeper volumes: - /data/z ......
【1】基于docker搭建hadoop+hive+spark+hbase+zookeeper+scale集群
1、设置主机上的虚拟缓存 当本地内存不足时，可以使用虚拟内存将一些内存数据转移到硬盘上，从而扩展计算机的内存容量。这样可以让计算机运行更复杂、更占用内存的程序，不会出现内存不足的情况。减轻物理存储器不足的压力，设置虚拟内存可以在内存不够的情况下将缓存一时放在硬盘上，解决内存不足问题。 通过虚拟内存， ......
oracle rac集群
操作系统：centos7.6 oracle: 19c 两台 RAC 服务器配置 hosts 文件 # cat /etc/hosts 192.168.3.37 rac1 192.168.3.105 rac2 192.168.2.2 racprv1 192.168.2.3 racprv2 192.168 ......
Kafka Server之kafka-consumer-groups.sh
消费者组查询 在 kafka server中查看有哪些消费者：./kafka-consumer-groups.sh --list --bootstrap-server localhost:9092 查询到有2个消费者组 消费者组描述 在 kafka server中查看指定消费者组信息：./kafka ......
docker搭建minio集群
1、启动命令 分别在三台服务器上执行即可，需要修改下面http中的ip地址 docker run -id \ --name=minio \ --restart=always \ --network=host \ -p 9000:9000 \ -p 9090:9090 \ -e "MINIO_ROOT ......
ElasticSearch 无密码集群搭建、监控和使用
对于 ElasticSearch8 集群，比较容易的方式就是无密码集群搭建。对于 ElasticSearch 来说，一般都是运行在内网中，可以通过防火墙限制来源 ip 或者通过 ElasticSearch 自身的配置来限制来源 ip。这种保障安全的方式比较类似于 Redis 。 对于 Kibana ......
docker-搭建一主两备redis集群
一 目的 docker-搭建一主两备redis集群 概述：目前要搭建一个“一主两备”redis集群，这个三个容器中redis的端口号为默认的6379，对外暴露的端口为6701,6702,6703，其中6701为master。6702和6703为slave 二 实现 1. 准备三份配置文件 1.1 配 ......
apisix etcd集群数据备份恢复
#etcd数据备份 /home/apisix-etcd-backup.sh #!/bin/bash #创建备份目录 mkdir -p /data/{apisix-etcd-0,apisix-etcd-1,apisix-etcd-2} #apisix etcd数据备份 ETCDCTL_API=3 /o ......
kafka：brokers are down
producer发布消息失败 由于使用脚本：./kafka-server-stop.sh and ./zookeeper-server-stop.sh 关闭kafka后，jps查询服务还在，就打算把重启系统。 重启后，往kafka上发布消息失败，报错代码：brokers are down 。 一顿操 ......
大数据HDFS集群相关概念
一、Zookeeper服务 端口 描述 配置路径 2181 主要使用端口，对cline端提供服务。连接方式jdbc:hive2://ip:2181 conf/zoo.cfg中clientPort 2183 选举leader使用 conf/zoo.cfg中server.x=2182:2183 2182 ......
k3d创建k3s集群
安装go wget https://golang.google.cn/dl/go1.21.3.linux-amd64.tar.gz tar zxvf go1.15.3.linux-amd64.tar.gz mv go /usr/local/ vim /etc/profile在最结尾添加 export ......
分布式集群与多线程高并发
后台数据的处理语言有很多，Java 是对前端采集的数据的一种比较常见的开发语言。互联网移动客户端的用户量特别大，大量的数据处理需求应运而生。可移动嵌入式设备的表现形式 很多，如 PC 端，手机移动端，智能手表，Google 眼镜等。Server2client 的互联网开发模式比较常见，有一种新的数据 ......