集群leader kafka
Nacos集群搭建
Nacos安装指南（windows版本）：https://www.cnblogs.com/gfl-1112/p/17771364.htmlNacos安装指南（Linux版本）：https://www.cnblogs.com/gfl-1112/p/17771373.htmlNacos的依赖：https ......
如何查看Kubernetes集群中哪个Pod占用CPU最高？
下载Metrics Server的部署文件： wget https://github.com/kubernetes-sigs/metrics-server/releases/latest/download/components.yaml 编辑下载的components.yaml文件，以便Metric ......
安防视频监控系统EasyCVR视频汇聚存储平台定制化开发：新增kafka配置
Kafka最大的特性就是可以实时处理大量数据以满足各种需求场景：比如基于hadoop的批处理系统、低延迟的实时系统、storm/Spark流式处理引擎，web/nginx日志、访问日志，消息服务等。 ......
ZooKeeper集群版本升级
ZooKeeper集群版本升级 环境描述： 3节点的集群，当前版本为3.8.1，计划将所有节点版本升级到3.8.3。 由于过半机制，即存活的节点数量>（非>=）所有节点数量的一半，则整个集群可以正常对外提供服务。 举个例子，3个节点，最少存活2>(3/2=1.5)个节点，即允许有一个节点宕机下依旧能 ......
彻底搞懂Docker容器与Kraft模式kafka集群关于消息大小相关参数设置
Docker部署的设置 部署背景： 在DockerHub拉取的bitnami/kafka:3.4.1 镜像，如果要部署在Docker-Swarm集群或者单Docker部署，对于消息大小设置需要添加参数 KAFKA_CFG_MESSAGE_MAX_BYTES，如何设置为其他不符合规范的参数格式，会导致 ......
kubeadm 加入work 节点集群时报 http://localhost:10248/healthz处理方法
现象: [kubelet-check] The HTTP call equal to 'curl -sSL http://localhost:10248/healthz' failed with error: Get "http://localhost:10248/healthz": dial tc ......
Base虚拟机克隆集群节点,并固定IP与免密互通
克隆Base虚拟机 先把Base关机,然后右键 - 管理 - 克隆 选择完整克隆 克隆名字这里叫node1 重复步骤,克隆node2/node3 为了分类,创建了一个大数据集群文件夹 以下命令全是root权限执行 配置固定IP # 修改主机名 hostnamectl set-hostname nod ......
从一次Kafka宕机说起（JVM hang）
一、背景 时间大概是在夏天7月份，突然收到小伙伴的情报，我们线上的一个kafka实例的某个broker突然不提供服务了，也没看到什么异常日志，反正就是生产、消费都停了。因为是线上服务，而且进程还在，就是不提供服务了，第一反应就是保留一下 stack 信息，先重启吧 因为这个现象是第一次出现，不确定是 ......
Etcd集群换机导致etcd集群不可用
背景： 因为工作中有nj地域需要下线，需要我所有地域的机器包括vip全部换成其他临近地域 问题： 集群中的etcd正常替换，当时保持的是平移，由于历史原因，之前的同学上线都是手动变更，没有发起上线，导致使用的之前的版本，导致etcd只能读，不能写入，而且etcd监控查询是不健康的状态 排查： 检查了 ......
搭建redis分片集群
搭建redis分片集群第一章：测试环境搭建1.1、版本信息：操作系统：CentOS-7-x86_64-Minimal-2009.isoredis：6.0.81.2、地址规划与结构图ip地址端口描述192.168.118.20020300master1192.168.118.20020301slave ......
mongo集群和es集群添加密码
1、查看/etc/mongod27017.conf 配置, 添加 security: keyFile: /etc/mongo.keyfile authorization: enabled 2、 security.authorization不配置 and keyfile配置 security.auth ......
redis集群的简单应用
1、创建集群 # 创建redis示例docker run -d --name redis-node-1 --net host --privileged=true -v /data/redis/share/redis-node-1:/data redis:6.0.8 --cluster-enabled ......
kubernetes集群中pod访问外网丢包严重问题排查：mtu值设置不对
kubernetes集群中pod访问外网丢包严重问题排查：mtu值设置不对 问题描述和初步判断 k8s中部署的数据中台调用指云（open.imzhiyun.com）的sdk接口，调用了23次，成功了3次,其余20次都失败。我这边通过在宿主机上进行tcpdump抓包 抓包命令： 1. 查出调用sdk的 ......
hadoop集群 大数据项目实战_电信用户行为分析_day02
集群配置好后，运行一个小例子，统计单词 1.hdfs dfs -put 将本地系统的文件或文件夹复制到HDFS上 2.hdfs dfs -ls /output 将所有的文件显示出来 3.hdfs dfs -cat /output/ 将所有的文件读取出来 下载part-r-000000 安装Redis ......
轻松掌握组件启动之Redis集群扩展秘籍：轻松扩容与缩容，释放高性能潜能
在这篇文章中，我们将揭示Redis集群的扩容和缩容操作，让您的Redis集群发挥最佳性能和可伸缩性。通过增加主节点和从节点，并将它们无缝添加到集群中，您将能够轻松扩展您的Redis集群以满足不断增长的需求。同时，我们还将探讨如何进行缩容操作，即删除节点，以优化集群资源的利用。无论您是初学者还是经验丰... ......
Kubernetes集群管理面板的安装及使用
Kubernetes集群管理面板的安装及使用 1、前言 若海的腾讯云Lighthouse组建跨地域Kubernetes集群，让我成功体验到了Kubernetes集群诸多优点，但是非技术出生的我，长时间使用黑洞洞的命令行终究不是我能接受的，在海哥的帮助下，我成功安装了Kubernetes集群管理面板。 ......
Kafka 入门教程
Kafka是分布式发布-订阅消息系统,它最初由 LinkedIn 公司开发，使用 Scala语言编写,之后成为 Apache 项目的一部分。在Kafka集群中，没有“中心主节点”的概念，集群中所有的服务器都是对等的，因此，可以在不做任何配置的更改的情况下实现服务器的的添加与删除，同样的消息的生产者和 ......
Kafka：用于日志处理的分布式消息系统
周末躺不平，摆不烂，卷不动，随便读一篇paper吧 原文：Kafka: a Distributed Messaging System for Log Processing 作者：Jay Kreps / Neha Narkhede / Jun Rao 这三尊神就是当初在LinkedIn开发Kafka的 ......
CodeForces 1886E I Wanna be the Team Leader
洛谷传送门 CF 传送门 把题意抽象成，给你长为 \(n\) 的序列 \(a\) 和长为 \(m\) 的序列 \(b\)，初始有 \(m\) 个空集合（可重集），\(a\) 中的每个元素至多被分到 \(m\) 个集合中的一个。要求最后第 \(i\) 个集合 \(T_i\) 不为空，且 \(\fora ......
ORACLE:集群oracle查看session的语句
1.查看session可以把status改为ACTIVE和INACTIVE v$session 和gv$session 只在RAC中区别明显，有g是全局的，rac的两个数据库中的内容，没有是但实例的数据库的，内容不全 rac么？ gv$开头视图是rac全局的，v$开头是本节点的 gv$session ......
hadoop集群 大数据项目实战_电信用户行为分析_day01
上图是相关配置的要求，主要创建了四个虚拟系统，有三台虚拟机搭建hadoop集群，一台作为业务系统。 涉及到相关的Linux指令有::set nu[显示行号] :6[到第6行 shift+G跳到最后一行 进入vi指令后查找相关东西/(你需要查找的东西) 1.配置环境、 第一步设置网络参数，设置静态网络 ......
轻松掌握组件启动之Redis单机、主从、哨兵、集群配置
这篇文章介绍了Redis的单机配置启动和主从架构、哨兵、集群搭建方法。无论你是初学者还是有一定经验的开发者，这篇文章都能为你提供实用的指导，让你轻松掌握Redis的配置和架构搭建。 ......
云行｜乘云而上，“赣”劲十足，天翼云4.0暨赣州算力集群落成！
10月10日，以“算”汇三江水，“云”聚八境台为主题的天翼云中国行·赣州站活动成功举办，赣州市有关领导，以及客户、合作伙伴等众多企业代表共同出席。会上举行了天翼云4.0暨赣州算力集群落成发布仪式，通过进一步完善云资源部署，天翼云助力赣州政府与各行各业实现上云用数赋智的转型升级，打造强劲发展“新动能”... ......
kafka 消费报错
具体报错信息Traceback (most recent call last): File "/root/kafkatomysql.py", line 166, in <module> consumer.commit() File "/usr/local/python3.9/lib/python3. ......
CF1886E I Wanna be the Team Leader
贪心 #动态规划 Question Monocarp 是一家大型 IT 公司的负责人 他有 \(m\) 个项目个项目需要完成，第 \(i\) 个项目的难度为 \(b_i\) 他的团队离有 \(n\) 个程序员，第 \(j\) 个程序员的耐受能力为 \(a_j\) Monocarp 需要分配这些项目， ......
博学谷学习记录 自我总结 用心分享 | Kafka刨析
基本概念 Kafka 体系架构 Kafka 体系架构包括若干 Producer、若干 Broker、若干 Consumer，以及一个 ZooKeeper 集群。 在 Kafka 中还有两个特别重要的概念—主题（Topic）与分区（Partition）。 Kafka 中的消息以主题为单位进行归类，生产 ......
大白话教你认识 Kafka，背后原理竟能秒懂 转载
一、Kafka 基础 消息系统的作用 应该大部份小伙伴都清楚，用机油装箱举个例子 所以消息系统就是如上图我们所说的仓库，能在中间过程作为缓存，并且实现解耦合的作用。引入一个场景，我们知道中国移动，中国联通，中国电信的日志处理，是交给外包去做大数据分析的，假设现在它们的日志都交给了你做的系统去做用户画 ......
Kubernetes集群使用容器镜像仓库Harbor
目录Kubernetes集群使用容器镜像仓库Harbor一、容器镜像仓库Harbor部署1.1 在docker主机部署harbor1.1.1 docker-ce安装1.1.1.1 获取YUM源1.1.1.2 安装并设置启动及开机自启动1.1.2 docker compose安装1.1.3 获取har ......