kafka集群controller作用
kafka消息堆积，consumer掉线
注：本文转自：https://www.toutiao.com/article/7160323779812983296/?log_from=5abd712547149_1679497545032 线上kafka消息堆积，所有consumer全部掉线，到底怎么回事？ 最近处理了一次线上故障，具体故障表现 ......
KeepAlived+HaProxy 热备切换Rabbitmq集群
一、集群简介 1.1 集群架构 当单台 RabbitMQ 服务器的处理消息的能力达到瓶颈时，此时可以通过 RabbitMQ 集群来进行扩展，从而达到提升吞吐量的目的。RabbitMQ 集群是一个或多个节点的逻辑分组，集群中的每个节点都是对等的，每个节点共享所有的用户，虚拟主机，队列，交换器，绑定关系 ......
python处理kafka数据
1、程序作用：从多个topic中读取数据--处理数据--写入新的kafkatopic中 pip3 install kafka-python import json from kafka import KafkaProducer from kafka import KafkaConsumer #消费者 ......
解决Kafka总是丢消息的方法和原理
注：本文转自：https://www.toutiao.com/article/7210953985497678347/?log_from=f0ecce317abb8_1679450040551 引入 MQ 消息中间件最直接的目的：系统解耦以及流量控制（削峰填谷）。 系统解耦： 上下游系统之间的通信相 ......
【pycharm】Mark Directory as sources root 的作用
1、场景 平时使用pycharm，有时出现导包问题，将那个目录Mark Directory as sources root，然后就可以正常运行代码了 2、原理 其实主要就是将那个目录加到PYTHONPATH中 先看未标记为sources root的PYTHONPATH环境变量输出 import os ......
第132篇:npm第一次使用自己的包(package-lock.json、package.json文件作用说明)
好家伙, 1.新建一个文件夹,命名为test 2.下载包 npm i panghu-planebattle 空白的文件夹中多了两个文件 package-lock.json和package.json 说明: package.json文件 package.json是一个项目描述文件, 里面记录了当前项目 ......
集群初始化
1）创建集群： 在master中执行： kubeadm init --apiserver-advertise-address=192.168.135.133 --image-repository registry.aliyuncs.com/google_containers --kubernetes ......
golang解决kafka消息丢失
Kafka是一个高吞吐量的分布式发布订阅消息系统，由于其高效的消息传递机制，被广泛应用于大规模数据处理、日志收集和实时数据流处理等场景中。但是，由于网络、硬件等原因，Kafka的消息有时可能会出现丢失的情况。下面是一些Go语言中解决Kafka消息丢失问题的方法： 1.设置合适的Kafka配置 在创建 ......
golang解决kafka消息重复发送和重复消费
1、解决消息重复发送 当使用Kafka生产者发送消息时，可以设置消息的Key，使用Key来保证相同Key的消息不会被重复发送。在发送消息时，可以使用带Key的消息发送方式，如下所示： msg := &sarama.ProducerMessage{ Topic: "test", Partition: ......
zookeeper原理及集群部署
#背景 知识梳理 #原理 ZooKeeper是一个分布式的，开放源码的分布式应用程序协调服务，是Google的Chubby一个开源的实现，是Hadoop和Hbase的重要组件。它是一个为分布式应用提供一致性服务的软件，提供的功能包括：配置维护、域名服务、分布式同步、组服务等。 Zookeeper的核 ......
通过命令管理ceph集群
通过命令管理ceph集群 阅读目录 ceph 集群维护 回到顶部 ceph 集群维护 http://docs.ceph.org.cn/rados/ ceph 集群配置、部署与运维 通过套接字进行单机管理 在ceph的节点上使用socket管理只针对ceph的节点单机管理并不会对所有节点生效 node ......
rabbitmq集群
下载的镜像创建和启动容器 docker run --name rabbitmq \ # 主机名（RabbitMQ的一个重要注意事项是它根据所谓的 “节点名称” 存储数据，默认为主机名） --hostname myRabbit \ # 5672：应用访问端口 -p 5672:5672 \ # 1567 ......
Linux 部署：kafka（虚拟机集群）
参考文档：https://blog.csdn.net/wt334502157/article/details/116518259 1. 节点规划 | 节点 | ip | | | | | vm81 | 10.99.0.81 | | vm82 | 10.99.0.82 | | vm83 | 10.99. ......
Linux 部署：zookeeper （容器集群）
参考文档：https://www.cnblogs.com/EminemJK/p/15138536.html 1. 节点规划 | 节点 | ip | | | | | vm81 | 10.99.0.81 | | vm82 | 10.99.0.82 | | vm83 | 10.99.0.83 | 2. 部 ......
手把手教你二进制安装生产环境 K8s 多 master 节点高可用集群详细图文教程
目录 一、集群环境准备 1.1 kubeadm 和二进制安装 k8s 适用场景分析 1.2 多 master 节点高可用架构图 二、基础环境配置（以下操作所有节点都得执⾏） 2.1 初步的环境初始化 2.2 关闭交换分区 swap 提升性能 2.3 修改机器内核参数 2.4 配置阿里云的 repo ......
K8s学习（一）从零开始搭建kubernetes集群环境（虚拟机/kubeadm方式）
K8s学习（一）从零开始搭建kubernetes集群环境（虚拟机/kubeadm方式） 1 Kubernetes简介（k8s） 传统部署：互联网早期会直接将应用程序部署在物理机上或者虚拟操作系统中，如部署到tomcat/weblogin/websphere等，这种部署方式比较简单，但是很难合理地分配 ......
LVS负载均衡集群
一、集群概述 1. 什么是集群 Cluster:集群，同一个业务系统，部署在多台服务器上。集群中，每台服务器实现功能无差别，数据和代码都是一样的。 2. 为什么要使用集群 2.1 原因 互联网应用中，随着站点对硬件性能、响应速度、服务稳定性、数据可靠性等要求越来越高，单台服务器已经无法满足负载均衡及 ......
Kubernetes集群Kubernetes实战与源码剖析体系进阶
Kubernetes集群Kubernetes实战与源码剖析体系进阶 学习路线指南 欢迎大家来到jiangxl~的《Kubernetes集群方方面面进阶之路》专栏，本文给大家详细列出Kubernetes集群方方面面每一章节文章指南，大家可以根据自己的需求阅读想要学习的文章。 本专栏涵盖Kubernet ......
kube-controller-manager启动失败
报错信息： Error: failed to start container "kube-controller-manager": Error response from daemon: OCI runtime create failed: container_linux.go:338: creat ......
Centos7系统在开启进入系统报错：Give root password for maintenance（or type Control-D to continue）：解决方法
报错信息： 在进入系统时，不能正常进入系统，出现了Give root password for maintenance（or type Control-D to continue）：的报错。 报错原因： 1、在之前写入的/etc/fstab文件有问题，导致系统在读取的时候识别不到从而报错。 解决方法 ......
HDP集群配置phoenix
1、说明 使用ambari+HDP集群安装的hbase，已经自带了phoenix，并已经做了集成； 这里需要修改/添加几个配置即可； 2、配置 #启用用户自定义函数(UDF) <property> <name>phoenix.functions.allowUserDefinedFunctions</ ......
大数据之—kafka集群环境
前言 参考：https://blog.csdn.net/huxili2020/article/details/120371459 一、安装 mkdir -p /opt/kafka && cd /opt/kafka tar -zxvf /opt/kafka/kafka_2.13-3.3.1.tgz m ......
大数据之—HBase集群环境搭建
前言 参考：https://blog.csdn.net/huxili2020/article/details/120459471 前置条件：Hadoop、Zookeeper 均需要正常的集群环境 官网：https://hbase.apache.org/downloads.html 软件仓库：http ......
解决Python+selenium切换作用域时报错'WebDriver' object has no attribute 'switch_to_window'
一、问题描述 selenium切换新网页作用域时，报错：'WebDriver' object has no attribute 'switch_to_window' 问题代码： driver.switch_to_window(driver.window_handles[-1]) 二、问题解决 sel ......
context作用域
> Activity ,Application ,Service 继承于Context的实现类，所有这三者都可以看做是一个Context ,当期前类即可调用getContext()方法获取上下文 > BroadcastReceiver , ContentProvide 不继承于Context或者Co ......
Predixy 代理 Redis Cluster 集群
1、环境 服务器名称 IP地址 备注 predixy-161-130 10.32.161.130 Predixy redis-161-131 10.32.161.131 redis节点 redis-161-132 10.32.161.132 redis节点 redis-161-133 10.32.1 ......
Twemproxy（nutcracker）代理 Redis Cluster 集群
1、环境 服务名称 IP地址 备注 twemproxy-161-130 10.32.161.130 twemproxy (nutcracker) redis-161-131 10.32.161.131 redis节点 redis-161-132 10.32.161.132 redis节点 redis ......
vo,pagger,dto,entity作用与区别
vo:接收前端数据，返回数据给前端pagger:用于分页查询的数据dto：用于业务层传输数据（比如说用于导出excel有限的几个字段，或者微服务模块间的数据传输）entity：用于直接与数据库交互（字段须与表一致） ......
Zookeeper 3.8.0 集群安装及监控
Zookeeper 集群安装及监控 1. 前言 业务需要对Zookeeper集群进行监控，发现的方案有三种： JMX zookeeper exporter ZK Monitor(Since 3.6.0) 采用JMX 进行监控，可获取到的指标项不够丰富。Zookeeper Exporter监控可获得的 ......