kafka kafka-console-ui console helm
kafka集群双活-数据迁移
一、集群搭建（kafka使用自带的zookeeper） 前提：必须要有java环境 1、下载地址： http://kafka.apache.org/downloads 2、安装目录 /app/kafka tar -zxvf kafka_2.12-3.6.1.tgz 建立数据和日志存储目录 mkdir ......
helm
一. Helm基本概念 1.1 为何需要Helm 1.2 什么是Helm 1.3 Helm核心概念 1.4 Helm安装 二. Helm仓库管理 2.1 查看仓库 2.2 添加仓库 2.3 更新仓库 2.4 删除仓库 三. Helm基本使用 3.1 搜索chart应用 3.2 部署chart应用 3 ......
kafka数据入paimon（flink-sql）
1.创建CATALOG CREATE CATALOG paimon_hive WITH ( 'type' = 'paimon', 'metastore' = 'hive', 'uri' = 'thrift://hadoopm111:9083', 'warehouse' = 'hdfs:///apps ......
2.Kafka
Kafka 是什么？主要应用场景有哪些？ Kafka 是一个分布式流式处理平台。 流平台具有三个关键功能： 消息队列：发布和订阅消息流，这个功能类似于消息队列，这也是 Kafka 也被归类为消息队列的原因。 容错的持久方式存储记录消息流：Kafka 会把消息持久化到磁盘，有效避免了消息丢失的风险。 ......
docker compose 一键部署kafka
一. 新建文件docker-compose.yml version: "3.8" services: zookeeper: restart: always image: 'bitnami/zookeeper:3.8.3' ports: - '2181:2181' environment: - ALL ......
扫盲Kafka？看这一篇就够了！【转】
kafka的使用场景 为什么要使用 Kafka 消息队列？ 解耦、削峰：传统的方式上游发送数据下游需要实时接收，如果上游在某些业务场景：例如上午十点会流量激增至顶峰，那么下游资源可能会扛不住压力。但如果使用消息队列，就可以将消息暂存在消息管道中，下游可以按照自己的速度逐步处理； 可扩展：通过横向扩展 ......
扫盲Kafka？看这一篇就够了！
解耦、削峰：传统的方式上游发送数据下游需要实时接收，如果上游在某些业务场景：例如上午十点会流量激增至顶峰，那么下游资源可能会扛不住压力。但如果使用消息队列，就可以将消息暂存在消息管道中，下游可以按照自己的速度逐步处理； ......
kafka入门(三)：kafka多线程消费
kafka消费积压 如果生产者发送消息的速度过快，或者是消费者处理消息的速度太慢，那么就会有越来越多的消息无法及时消费，也就是消费积压。 消费积压时，可以使用多线程消费，提高消费速度。 kafka多线程消费的代码： public class ThirdMultiConsumerThreadDemo ......
Kafka集群调优+能力探底
一、前言 我们需要对4个规格的kafka能力进行探底，即其可以承载的最大吞吐；4个规格对应的单节点的配置如下： 标准版： 2C4G 铂金版： 4C8G 专业版： 8C16G 企业版： 16C32G 另外，一般来讲，在同配置下，kafka的读性能是要优于写性能的，写操作时，数据要从网卡拷贝至堆内存，然 ......
单机ELK接收kafka日志环境搭建
单机ELK接收kafka日志环境搭建 1、安装elk单机环境 参考以下链接： 2、搭建kafka 下载kafka：https://archive.apache.org/dist/kafka/2.6.2/ 解压： tar -zxvf kafka_2.12-2.6.2.tgz mv kafka_2.12 ......
消息队列入门 —— 以 Kafka 为例（一）
消息队列入门 —— 以 Kafka 为例（一） 概述 当我们的应用逐步变得庞大，各层应用之间调用关系越来越复杂，对系统的可用性以及可扩展性要求也越来越高。消息队列作为分布式系统架构中的一个关键中间件，提供了“消息传递”和“消息排队模型”，可以应用在系统解耦、异步处理、流量削峰等多个场景，有着举足轻重 ......
day09 Helm开发与实践-基于Helm的方式运维管理应用 （3.2-3.3）
一、Helm开发与实践 1、Helm Chart详解 1.1 Chart 目录结果 # helm create nginx Creating nginx # tree nginx nginx ├── charts ├── Chart.yaml ├── templates │ ├── deployme ......
了解Kafka
背景介绍 Kafka 是一个消息系统，原本开发自 LinkedIn，用作 LinkedIn 的活动流（Activity Stream）和运营数据处理管道（Pipeline）的基础。现在它已被多家不同类型的公司作为多种类型的数据管道和消息系统使用。LinkIn于2010年贡献给了Apache基金会并成 ......
Electron 开发过程中主进程的无法看到 console.log 输出怎么办
开发过程中命令行工具（powershell、terminal）内无法看到 console.log 输出 Eelectron 的在开发过程中主进程 NodeJS 内往往需要 console.log 来进行简单的调式 渲染进程的 console.log 输出到开发工具控制台中，这和浏览器中的 web 调 ......
调试技巧console.trace
console.trace之前一直觉得没用，可用断点，或xhr断点来直接定位调用栈 在一些特殊情况下，比如要跟踪某个值的调用过程，可以用此方法来观察调用栈，也比较方便 console.trace(result) 可以观察result这个变量的调用栈 从变量的角度，来看调用栈，易于追踪该变量值产生异常 ......
12.kafka单集群安装部署
一.安装jdk ，kafka需要至少jdk8+ 1.安装jdk yum install java-11-openjdk.x86_64 -y 2.查看安装是否正常 [root@localhost bin]# java --version openjdk 11.0.21 2023-10-17 LTS O ......
使用emqttd时执行emqttd console时无反应或者报错Node undefined not responding to pings.
1.无反应： 2.报错：Node undefined not responding to pings. 解决办法： 路径不能有空格，最好用存英文的路径。 ......
kafka docker-compose 单节点部署
启动脚本 sed -i -r "s/[0-9]{1,3}(\.[0-9]{1,3}){3}/$(ifconfig $(ip route show default |head -1 |awk '{print $5}') |grep -oP '(?<=inet\s)\d+(\.\d+){3}')/g" ......
INFINI Console 与华为鲲鹏完成产品兼容互认证
何为华为鲲鹏认证 华为鲲鹏认证是华为云围绕鲲鹏云服务（含公有云、私有云、混合云、桌面云）推出的一项合作伙伴计划，旨在为构建持续发展、合作共赢的鲲鹏生态圈，通过整合华为的技术、品牌资源，与合作伙伴共享商机和利益，助力合作伙伴与华为联合打造基于鲲鹏的联合解决方案，改变国产 IT 长期低附加值与高定制化的 ......
Docker + supervisor在同一容器中部署zookeeper和kafka
使用supervisor进程管理工具，在同一个容器中部署zookeeper和kafka 目录 Dockerfile jdk1.8.0_181.tar.gz kafka_2.12-1.1.0.tgz conf.d docker-compose.yml kafka_conf.d conf.d 中为sup ......
华为交换机重置console密码
1、连接交换机串口 2、重启交换机 3、按快捷键“Ctrl+B”，输入默认密码Admin@huawei.com 4、在BootROM/BootLoad主菜单下选择“Clear password for console user”清除Console口登录密码 5、根据交换机的提示，在BootROM/B ......
kafka中如何创建topic？
通过如下的命令创建topic kafka-topics.sh \ --bootstrap-server <Kafka集群地址> \ --create \ --topic <Topic名称> \ --partitions <分区数> \ --replication-factor <副本因子> 示例 b ......
什么是kafka中topic、分区、副本、偏移量、消息保留策略
Kafka是一个开源的分布式流式数据平台，也成为分布式消息队列。 用于高吞吐量、低延迟的数据发布和订阅。 1、什么是topic (主题) ? 在Kafka中，Topic（主题）是数据发布和订阅的基本单位，它代表了相同类型的消息流。 一个Topic可以看作是一个逻辑上的数据流管道，消息的生产者（Pro ......
Kafka 如何保证消息消费的全局顺序性
哈喽大家好，我是咸鱼 今天我们继续来讲一讲 Kafka 当有消息被生产出来的时候，如果没有指定分区或者指定 key ，那么消费会按照【轮询】的方式均匀地分配到所有可用分区中，但不一定按照分区顺序来分配 我们知道，在 Kafka 中消费者可以订阅一个或多个主题，并被分配一个或多个分区 如果一个消费者消 ......
手动部署Kraft模式Kafka集群
手动部署Kraft模式kafka集群 基本信息 IP地址 Hostname Release Kafka-Version 172.29.145.157 iamdemo1 Centos7.9 kafka_2.12-3.5.1 172.29.145.182 iamdemo2 Centos7.9 kafka ......
Kafka3.6.0 linux 安装，非zookeeper模式
参考： 安装Kafka3.3.1及kraft运行，告别zookeeper_kafka 3.3.1 jdk 无需zookeeper，kafka3.0版本集群安装实战 操作系统：ubutun18.04LTS 1.下载 到kafka官网下载 2.上传到服务器指定位置 3.解压到指定目录，这里我放到/opt ......
性能测试复习准备——linux环境下安装kafka_2.13-3.2.3.tgz
参考：https://www.bilibili.com/video/BV1Xy4y1G7zA?p=6&vd_source=79bbd5b76bfd74c2ef1501653cee29d6 解压到目录路径下： 启动kafka之前，首先启动zk： 修改配置文件： 启动kafka和查看： ......
kafka入门(二)： 位移提交
位移提交： Kafka的每条消息都有唯一的 offset， 用来表示消息在分区中对应的位置。有的也称之为 "偏移量"。 消费者每次在 poll() 拉取消息，它要返回的是还没有消费过的消息集， 因此，需要记录上一次消费时的消费位移，并且持久化。 消费者在消费完消息之后，需要执行消费位移的提交。 自动 ......
Introducing the kafka producer
Introduction As we saw in the previous sections, I think we have some basic information about the kafka producers, today, let me dig in this concept. ......
Kafka分布式消息队列
一、Kafka的的介绍 （一）、概述 1、Kafka是由LinkedIn开发的一个分布式的消息系统，底层使用Scala编写，它以可水平扩展和高吞吐率而被广泛使用。目前越来越多的开源分布式处理系统如Cloudera、Apache Storm、Spark都支持与Kafka集成。 2、Kafka是一个分布 ......