集群leader kafka
主从、集群、分布式的区别
主从、集群和分布式是计算机系统中常见的架构模式，它们有不同的特点和用途： 主从（Master-Slave）： 主从架构是一种单点控制的架构，其中有一个主节点和一个或多个从节点。 主节点通常负责处理所有的请求和决策，而从节点用于执行主节点分派的任务或保存数据的备份副本。 主从架构通常用于提高系统的可用 ......
Kafka服务报UnknownHostException解决办法
问题描述 启动需要连接kafka服务的项目，报如下错误 09:57:01.336 [http-nio-8085-exec-3] WARN org.apache.kafka.clients.NetworkClient - [Consumer clientId=consumer-group-1, gro ......
为什么物联网大数据平台，使用TDengine，可以不要Redis、Kafka和Spark等软件？
为什么物联网大数据平台，使用TDengine，可以不要Redis、Kafka和Spark等软件？ - TDengine | 涛思数据 (taosdata.com) TDengine是一高效的时序空间大数据处理引擎，因为充分利用物联网、车联网、工业互联网等场景的数据特点并做了很多优化，因此性能上远胜通 ......
Redis学习--------分片集群、散列插槽、集群伸缩、故障转移
Redis学习 分片集群、散列插槽、集群伸缩、故障转移 https://blog.csdn.net/qq_43719634/article/details/124911627 Redis集群添加新节点(水平扩展)、删除其中一个节点 https://blog.csdn.net/qq_33417321/ ......
搭建 Kubernetes 集群 —— API 概述
官网文档：https://kubernetes.io/zh-cn/docs/reference/using-api/ REST API 是 Kubernetes 系统的重要部分，组件之间的所有操作和通信均由 API Server 处理的 REST API调用，大多数情况下， API 定义和实现都符合 ......
同集群优先的负载均衡
Nacos中提供了一个NacosRule的实现，可以优先从同集群中挑选吗，然后在同集群下去随机选实例。 加入的负载均衡配置： ribbon: NFLoadBalancerRuleClassName: com.alibaba.cloud.nacos.ribbon.NacosRule # 负载均衡规则 ......
ElasticSearch集群处于yellow状态处理
一般思路： 1、查看集群状态 curl -XGET -u {username}:{password} -s $prefix/_cat/health?v 2、查看节点状态 curl -XGET -u {username}:{password} -s $prefix/_cat/nodes?v 3、查看索 ......
Kubernetes集群通过Helm部署skywalking及测试
目录 1.前言 2.skywalking组件 3.Helm部署步骤 3.1安装包下载 3.2修改配置 3.3helm安装 3.4访问方式 4.制作skywalking-agent-sidecar镜像 5.在deployment中应用skywalking-agent 1.前言 本文主要介绍Kubern ......
【最佳实践】高可用mongodb集群(1分片+3副本):规划及部署
结合我们的生产需求，本次详细整理了最新版本 MonogoDB 7.0 集群的规划及部署过程，具有较大的参考价值，基本可照搬使用。 适应数据规模为T级的场景，由于设计了分片支撑，后续如有大数据量需求，可分片横向扩展。 ■■■ 分片集群规划 ■ Configure hostname、hosts file ......
三维模型3DTile格式轻量化压缩集群处理方法分析
三维工厂K3DMaker是一款三维模型浏览、分析、轻量化、顶层合并构建、几何校正、格式转换、调色裁切等功能专业处理软件。可以进行三维模型的网格简化、纹理压缩、层级优化等操作，从而实现三维模型轻量化。轻量化压缩比大，模型轻量化效率高，自动化处理能力高；采用多种算法对三维模型进行几何精纠正处理，精度高，... ......
KingbaseES V8R6集群运维案例之---查看主备流复制之间的延迟
案例说明： 在主备流复制集群运维过程中，对于同步复制节点，在读写分离环境应用需要强一致性访问时，需要监控主备之间流复制的延迟。 适用版本： KingbaseES V8R6 一、主库查询流复制延迟 1、 通过sys_stat_replication 获取sent_lsn、write_lsn、flush ......
还在为没机器练手搭集群而苦恼？快进来免费领机器了！
前几天，在我们的技术交流群里看到有小伙伴问：有没有练手搭建Redis集群的方式推荐： 这里不禁让我想到，对于各种集群和分布式基础设施的搭建，其实是每个开发者进阶时候都要经历的一个成长过程。但是，这里对于不少开发者来说，却又面临着一个现实问题：我没有足够的资源（主机或配置）去尝试和练习。 最近，DD刚 ......
Kafka快速入门
目录Kafka 快速入门Kafka 部署kafka 操作方法 Kafka 快速入门 Kafka 部署 官方下载地址：https://kafka.apache.org/downloads # 1.下载安装包 [root@db03 ~]# cd /opt [root@db03 opt]#wget htt ......
云小课｜MRS基础操作之集群健康检查
MapReduce服务为用户提供海量数据的管理及分析功能，快速从结构化和非结构化的海量数据中挖掘您所需要的价值数据。集群中的FusionInsight Manager将提供企业级的集群的统一管理平台。 ......
使用 Databend Kafka Connect 构建实时数据同步
作者：韩山杰 Databend Cloud 研发工程师 https://github.com/hantmac Kafka Connect 介绍 Kafka Connect 是一个用于在 Apache Kafka® 和其他数据系统之间可扩展且可靠地流式传输数据的工具。通过将数据移入和移出 Kafka ......
Kubernetes 集群 troubleshooting
Kubernetes 集群 troubleshooting – 陈少文的网站 (chenshaowen.com) 1、FailedCreatePodSandBox 错误 Error response from daemon: OCI runtime create failed: container_ ......
k8s修改集群IP--重置集群
原来IP地址192.168.10.138 k8s-master192.168.10.139 k8s-node1192.168.10.140 k8s-node2 新IP地址192.168.10.148 k8s-master192.168.10.149 k8s-node1192.168.10.150 k ......
k8s修改集群IP--不重置集群
正常在用集群想要更换ip master 节点ip192.168.10.138 改为192.168.10.148 node1节点ip192.168.10.139 改为192.168.10.149 node2节点ip192.168.10.140 改为192.168.10.150 master 节点 1) ......
使用 kubeadm 安装 k8s 集群
# 背景 之前使用过`kubespray`的 ansible playbook 安装集群，尽管此剧本是官方推荐使用的，但是它有以下缺点： * 剧本的编排太过于晦涩 * 创建集群的过程中，会产生许多必要的配置文件和依赖 存储数据库 redis版本：redis:6.2.13 作者：易墨 安装单机版 安装源：DockerHub 默认配置文件：配置文件示例 6. ......
使用nomad管理集群-2 tailscale组网
背景 上一篇文章介绍了如何单机部署nomad，这一篇介绍如何使用tailscale组成大内网，并使用nomad管理该内网集群 TAILSCALE介绍 下面是引用知乎的原话 Tailscale 是一种基于 WireGuard 的虚拟组网工具，它能帮助我们把安装了 Tailscale 服务的机器，都放到 ......
二进制部署k8s集群
1.配置主机hostname 2.配置hosts映射并拷贝至其他节点 3.配置时间同步 yum -y install chrony.x86_64 vim /etc/chrony.conf server ntp.aliyun.com iburst server ntp1.aliyun.com ibur ......
使用nomad管理集群-1 单机部署
背景 由于白嫖+购买了很多vps，管理起来有点困难，只能一个个ssh上去看，同时有的命令要反复敲好几遍，因此需要有一个集群管理的工具。 其次因为工作需要经常和k8s，docker等打交道，于是打算使用类似的工具来管理vps。 首先考虑的自然就是k8s，作为云原生的老大哥，相关的生态和文档自然是巨好， ......
hadoop集群搭建及编程实践
Hadoop集群搭建 前期准备及JDK，hadoop安装 设置主机名和添加主机映射 验证连通性 SSH无密码登录 配置集群/分布式环境 修改workers 修改文件core-site.xml 修改hdfs-site.xml 修改mapred-site.xml 修改yarn-site.xml 分发到其 ......
使用 Rancher 部署管理 K8S 集群
目录使用 Rancher 部署管理 K8S 集群主机规划部署 docker-ce（rancher）部署 rancher 使用 Rancher 部署管理 K8S 集群 主机规划 主机名称 角色 IP 地址 基础软件 rancher 管理 k8s 集群 10.0.0.203 docker-ce mast ......
Kafka消费者群组和负载均衡
前言 在大数据时代，消息处理成为众多企业关注的焦点。而Kafka作为一种高性能、分布式的消息系统，通过其消费者群组和负载均衡的特性，实现了高效的消息处理和可靠的数据传递。 消费者群组 Kafka的消费者群组是一种灵活而强大的机制，允许多个消费者协同工作以实现高吞吐量的消息处理。消费者群组通过订阅同一 ......
Kafka的监控和故障恢复
前言 说完Kafka在企业级应用中的使用之后，接下来避免不了的话题就是故障监控和恢复了，今天咱们也来聊聊这个话题 监控Kafka集群 Kafka集群的监控是确保其正常运行和性能优化的关键步骤。下面列出了一些常用的方法和工具来监控Kafka集群： JMX监控： Kafka提供了JMX（Java Man ......