杂谈kafka
第二章 Spring Boot 整合 Kafka消息队列 生产者
系列文章目录 第一章 Kafka 配置部署及SASL_PLAINTEXT安全认证 第二章 Spring Boot 整合 Kafka消息队列 生产者 第三章 Spring Boot 整合 Kafka消息队列 消息者（待续） 前言 Kafka 是一个消息队列产品，基于Topic partitions ......
单价1.2亿美元的EUV光刻机杂谈
单价1.2亿美元的EUV光刻机杂谈 光刻机为何被称为半导体设备上的明珠？它到底有多重要？ 其实简单的流程图并不能反映出光刻在芯片制造过程中的重要性的，我们再来一个更简单、直接的有关芯片是如何研发、生产的，来看下面的示意图： 如果AMD/NVIDIA/高通要研发新一代CPU/GPU芯片，他们会使用到C ......
ClickHouse(21)ClickHouse集成Kafka表引擎详细解析
目录Kafka表集成引擎配置Kerberos 支持虚拟列资料分享参考文章 Kafka表集成引擎 此引擎与Apache Kafka结合使用。 Kafka 特性： 发布或者订阅数据流。 容错存储机制。 处理流数据。 老版Kafka集成表引擎参数格式： Kafka(kafka_broker_list, k ......
org.springframework.kafka.listener.ListenerExecutionFailedException: Listener method could not be invoked with the incoming message
问题描述 kafka在yml文件中未开启批量消费时，程序正常运行；但一开启正常消费后，就直接报错；排查问题的过程中一直觉得是配置文件里的问题，最后发现是消费者接受的参数类型错误 问题本质 消费者开启批量消费数据后，不能用单个实体类接收参数，而应该用list 解决方法 修改消费者函数参数类型 ......
ogg-kafka
环境搭建 Oracle 环境搭建 源端 OGG 依赖 Oracle 环境，可安装 Oracle instant client，如果源端和数据库在同一台服务器则不需要此小节的步骤。 下载地址：https://www.oracle.com/database/technologies/instant-cl ......
kafka 服务开机自启动
Kafka 服务开机自启动 问题： 服务器更新Linux 内核需要重启服务器，重启后kafka 服务不会自动启动， 需要人工手工启动Kafka服务 服务器类型： SUSE 12SP5 类型服务器 SUSE 12SP3 类型服务器 KYLIN10SP1 国产化操作系统服务器 解决方案： 使用syste ......
Kafka - 面试题
Kafka是什么？它用于什么场景？答案：Kafka是一个分布式流平台，用于构建实时数据流管道和应用。它主要用于处理和传输大规模的流数据，例如日志、事件和其他类型的数据。Kafka广泛应用于大数据处理、实时流处理、消息队列等领域。 Kafka的主要组件有哪些？它们的作用是什么？答案：Kafka的主要组 ......
Kafka 万字精讲｜工作五年这些你都知道吗？
本文以 Kafka 官方文档的内容为基石，结合参考文献处文章和笔者自身实践凝练而成，涵盖内容全面，详略得当。
这也是《一文搞懂》系列的第一篇技术长文，期待您的关注。 ......
kafka入门(七)：kafka实现高吞吐量
kafka 高吞吐量 顺序写入磁盘 Kafka 使用 磁盘来存储和缓存消息。 Kafka 只能在日志文件的尾部追加新的消息，也就是 顺序写入磁盘。 顺序写入磁盘，让 Kafka 能实现更高的吞吐量。 页缓存 Kafka中大量使用页缓存，这是Kafka 实现高吞吐的重要因素之一。 页缓存，是操作系统实 ......
kafka入门(五)：日志分段（LogSegment）
日志分段（LogSegment） Kafka的一个 主题可以分为多个分区。 一个分区可以有一至多个副本，每个副本对应一个日志文件。 每个日志文件对应一个至多个日志分段（LogSegment）。 每个日志分段还可以细分为索引文件、日志存储文件和快照文件。 每个 LogSegment 对应于磁盘上的一个 ......
springboot~kafka-stream实现实时统计
实时统计，也可以理解为流式计算，一个输入流，一个输出流，源源不断。 Kafka Stream Kafka Stream是Apache Kafka从0.10版本引入的一个新Feature。它是提供了对存储于Kafka内的数据进行流式处理和分析的功能。 Kafka Stream的特点 Kafka Str ......
kafka：ERROR Shutdown broker because all log dirs（Windows）
问题 都说kafka在Windows上运行的错误多，果然如此。在测试阶段，创建了一个 测试主题，并往该主题发送了消息，然后删除该主题。这时错误出来了： kafka error log日志 [2024-01-08 15:22:42,224] ERROR Error while renaming dir ......
Lidar与camer标定技术杂谈
Lidar与camer标定技术杂谈 TEScalib:一种用于自动驾驶平台的无目标激光雷达立体相机外部校准方法。通过应用基于三维网格重建的点云配准和光度误差函数，可以准确、稳健地校准激光雷达和立体相机。 使用光度误差功能的左右摄像机校准。上图来自左摄像头。中间和下部图像来自校准前后的右侧相机。优化后 ......
kafka源码阅读之MacBook Pro M1搭建Kafka2.7版本源码运行环境
原创/朱季谦 最近在阅读Kafka的源码，想可以在阅读过程当中，在代码写一些注释，便决定将源码部署到本地运行。 日常开发过程中，用得比较多一个版本是Kafka2.7版本，故而在MacBook Pro笔记本上用这个版本的源码进行搭建，进行Kafka源码的阅读学习。在搭建的过程当中，遇到不少坑，顺便记录 ......
云消息队列 Kafka 版生态谈第一期：无代码转储能力介绍
为了提升研发效率，云消息队列 Kafka 版联合阿里云产品支持到无代码、全托管、Serverless 化的功能特性，支持从云消息队列 Kafka 版到 OSS 的转储。 ......
Kafka高级应用：如何配置处理MQ百万级消息队列？
在大数据时代，Apache Kafka作为一款高性能的分布式消息队列系统，广泛应用于处理大规模数据流。本文将深入探讨在Kafka环境中处理百万级消息队列的高级应用技巧。 本文，已收录于，我的技术网站 ddkk.com，有大厂完整面经，工作技术，架构师成长之路，等经验分享 1、合理配置分区 // 自定 ......
畅联云杂谈五：野百合也有春天
不去追逐，永远不会拥有；不往前走，永远原地停留。 这是摘自网上的一句话，我觉得挺好，也很适合我此刻的心情。 可能这么一个题目有点矫情，但事实就是这样，我们就是一群草根，不认命也不肯服输，就如同我们的作品畅联云一样，只是野百合，默默忍受野草的嘲笑，因为相信会有一天自己会开出美丽的花。我们多么期待它能怒 ......
蝉联云杂谈六：畅联云下一步迭代的重点
畅联云还有很多不足，计划春节前后更新以下重要功能： 1、视频方面，28181插件、ehome/isup插件要做一次迭代，要适应性更强。 2、物模型领域，支持级联型设备的物模型，所以物模型的配置界面还要修改一下；另外物模型定义的一些东西也要做响应扩展。 3、客户端的一些小错误要修改。 4、并发性检验， ......
Kafka消费端抛出异常Offset commit cannot be completed since the consumer is not part of an active group for auto partition assignment; it is likely that the consumer was kicked out of the group的解决方案
总结/朱季谦 在一次测试Kafka通过consumer.subscribe()指定偏移量Offset消费过程中，因为设置参数不当，出现了一个异常提示—— [2024-01-04 16:06:32.552][ERROR][main][org.apache.kafka.clients.consumer. ......
debezium+kafka实现oracle数据同步（debezium-connector-oracle）
1.情景展示 在企业当中，往往会存在不同数据库之间的表的数据需要保持一致的情况（数据同步）。 如何将A库a表的数据同步至B库a表当中呢？（包含：新增、修改和删除） 往往不仅仅需要保持数据的一致性，还要保证数据的即时性，即：A库a表的数据发生变化后，B库a表也能立刻同步变化。 实时保持两表数据的一致性 ......
kafka3.6单点部署使用
一、kafka基本概念 kafka是一个分布式的，分区的消息(官方称之为commit log)服务。它提供一个消息系统应该具备的功能，但是确有着独特的设计。可以这样来说，Kafka借鉴了JMS规范的思想，但是并没有完全遵循JMS规范。 名称 解释 Broker 消息中间件处理节点，一个Kafka节点 ......
Flink CDC写入数据到kafka几种格式
Flink cdc写入kafka数据格式 主要记录flink cdc写入kafka几种常见的数据格式，其中包括upsert-kafka写入后正常的json格式，debezium-json格式以及changelog-json格式。 upsert-kafka 正常json数据格式 -- insert 操 ......
Kafka Connect用法
1.情景展示 传统的消息中间件，如果我们想要应用到自己的系统当中，就必须在框架里面进行集成。 也就是说，必须将连接消息中间件的代码（如：生产者和消费者）嵌入到我们的web系统中，这就是所谓的硬编码。 这种硬编码的方式，侵入性强，开发成本相对较高，它要求开发人员不仅要关注业务，还要兼顾技术实现。 这也 ......
【Kafka学习-3】Kafka命令
【Kafka学习-3】Kafka命令 Kafka的命令都是基于bin目录下的脚本来使用的。 Topic命令 Topic的命令脚本是kafka-topics.sh，常见命令参数说明： --bootstrap-server <String: server toconnet to> 连接的Kafka Br ......
Kafka干货之「零拷贝」
一、背景 周所周知，Kafka是一个非常成熟的消息产品，开源社区也已经经历了多年的不断迭代，特性列表更是能装下好几马车，比如：幂等消息、事务支持、多副本高可用、ACL、Auto Rebalance、HW、Leader Epoch、Time Index、Producer Snapshot、Stream ......
图解Kafka Producer常用性能优化配置参数
1 基本参数 bootstrap.servers：Kafka broker服务器地址列表，,分开，可不必写全，Kafka内部有自动感知Kafka broker的机制 client.dns.lookup：客户端寻找bootstrap地址的方式，支持两种方式： resolve_canonical_boo ......
畅联云杂谈四：畅联云凭什么？
先看一下简单的一个列表对比，参考下图： 对比项 畅联云平台（www.24hlink.cn） 视频类厂商的云平台 偏重IoT设备接入的云 直连视频接入能力 功能强大，可统一接入：a所有主流品牌的主动上报协议型接入，从海康、大华、巨峰/雄迈、天地伟业，华为等。b国标28181协议型设备接入。cRTMP协 ......
畅联云杂谈三：未来三年畅联云要达到什么高度才不负韶华？
作为畅联云（www.24hlink.cn）的主要缔造者，我对畅联云期望值很高，希望三年内畅联云能达到以下三个具体目标： 一、从设备接入量来看：视频路数超百万，物联网设备超千万。 证明技术成熟的最直接指标就是设备接入能力和接入数量。目前畅联云视频接入能力非常稳定可靠，协议也很丰富，基本覆盖了市场上90 ......
畅联云杂谈二：畅联云主要的客户是谁呢？
畅联AIoT开放云平台(http://www.24hlink.cn)主要面向两类客户： （一） 各类行业应用开发商 行业包括： 智慧生活：其中包括智慧家居等。 应急安全：包括智慧消防、抗灾监测等。 智慧建筑到园区到整个城市运营生活：包括智慧工地、智慧空间、智慧社区、智慧园区、一网统管、数字管廊等。 ......
畅联云杂谈一：什么是畅联云平台
畅联AIoT开放云平台（http://www.24hlink.cn）由杭州美畅物联技术有限公司推出的，专为AIoT开发赋能的PaaS平台，畅联云平台解决各种视频、物联网终端、算法的在云上的统一接入、汇聚、管理、赋能等问题，为智慧城市、智慧教育、智慧园区、智慧工地、数字乡村等领域甚至为硬件厂商提供数字 ......