经验kafka
git一些小经验(1)----新建git仓库
# 创建远程仓库 此处假设你已经安装了git, 并且配置了远程git仓库的ssh密钥. 我是用`https://gitee.com/`作为远程仓库的, 登录之后, 在主页右上角, 点击加号按钮, 就可以创建一个新仓库, 如下图所示: ![image](https://img2023.cnblogs. ......
Gorm使用的一些经验--如何彻底删除一条数据
中文文档：https://gorm.io/zh_CN/ 我们知道，在使用gorm的时候，如果我们使用了gorm内置的model，会存在一个delete_at字段，当我们删除一条数据，这条数据并不会在数据库中被彻底删除 举个例子： 数据库中的数据如下： 现在通过实现的接口，去删除id=402的数据，在 ......
软件测试工程师如何从功能测试转成自动化测试？经验分享篇
随着测试行业的发展，"会代码"越来越成为测试工程师的一个标签。打开各大招聘网站，测试工程师月薪一万以上基本都有一个必备技能，那就是自动化测试。那么自动化测试到底难不难呢？下面我将会将我的经历讲给大家听，希望听完后，大家会有自己的一个判断。 ......
kafka动态生产者
package com.sunclouder.das.data.kafka.forward;import cn.hutool.core.util.StrUtil;import cn.hutool.json.JSONObject;import cn.hutool.json.JSONUtil;impor ......
kafka消费者那些事儿
## 前言 消息的消费一般有两种模式，推模式和拉模式。推模式是服务端主动将消息推送给消费者，而拉模式是消费者主动向服务端发起请求来拉取消息。kakfa采用的是拉模式，这样可以很好的控制消费速率。那么kafka消费的具体工作流程是什么样的呢？kafka的位移管理又是怎么样的呢？ ## 消费者消费规则 ......
kafka数据检索2
假设有一个名为test的主题，它有3个分区，每个分区的日志文件分别为test-0.log、test-1.log和test-2.log。现在想要通过offset 100来查找test主题的消息。 首先，需要确定offset 100位于哪个分区。可以使用Kafka提供的命令行工具kafka-consum ......
【经验分享】锐捷EVE在火狐游览器中，取消一律打开此应用的选项，重新选择默认打开应用，如SecureCRT
# 环境： >工具：锐捷EVE模拟器，火狐游览器，SecureCRT_8.7 系统版本：Windows 10 # 需求描述： >描述：在选择一律使用此程序打开应用后，找不到取消的地方，也因此无法更改打开的应用。 >提示： >若按照教程还是无法完成操作，可以进入右侧的企鹅，找我看看，或者进哔哩哔哩自行 ......
SpringBoot集成kafka全面实战
一、前戏1、在项目中连接kafka，因为是外网，首先要开放kafka配置文件中的如下配置（其中IP为公网IP）， advertised.listeners=PLAINTEXT://112.126.74.249:9092 2、在开始前我们先创建两个topic：topic1、topic2，其分区和副本数 ......
kafka消费端可以用预提交的方式进行精确消费
为了避免重复消费：在服务器的数据库端记录一个状态，这个状态标志着这条消息被正确消费了 。如果在向kafka提交commit之前服务器崩掉了，再次启动时服务器读取这个状态，如果是这个消息被正确消费过的，就把指针指向下一条数据。 ......
kafka的leader，follow,offset
1.partition分为主从。 2.当需要严格顺序时（比如秒杀场景），每个topic里面只能有一个partition,这样可以严格保证顺序。虽然多个partition时也可以保证partition内部是顺序执行的，但是不能保证整体是顺序执行的。 3.同一个partition只能由一个消费者。就像一 ......
dp-runtime去Kafka依赖方案
背景 现有原生kafka connect runtime，在客户环境运行遇到诸多问题，问题列表如下： 强依赖Kafka集群做任务分配、connector配置信息、connector状态管理、source进度维护等等 当遇到数据量大、并行数多，topic数量较多时，可能引发kakfa集群的不稳定包括( ......
Kafka使用实例
下面是一个使用Java实现的Kafka示例代码，用于发送和接收消息： 首先，您需要安装Kafka，并确保服务正在运行。 接下来，您可以使用以下示例代码来发送和接收消息： Producer.java文件： ```java import org.apache.kafka.clients.producer ......
kafka集群是如何选择leader，你知道吗？
## 前言 `kafka`集群是由多个`broker`节点组成，这里面包含了许多的知识点，以下的这些问题你都知道吗? - 你知道`topic`的分区`leader`是怎么选举的吗？ - 你知道`zookeeper`中存储了`kafka`的什么信息吗？起到什么做呢？ - 你知道`kafka`消息文件是 ......
Linux后台开发调试经验分享
调试很麻烦，困扰着无数程序员们。很难有人保证自己写的代码一行错误都没有，有问题你就要查。怎么查？高手者，反汇编，看 2 进制；low 一点的就 gdb、看统计；再 low 就加打印。还可以再 low 吗？可以，自己写 bug，别人查。方法林林总总，长期掌握总可以找到适合自己的。
而调试的目的是什么... ......
Kafka在Linux下的安装和使用
Kafka简介 💡 Tips：本文主要介绍在Linux系统中安装和使用Lafka的操作步骤。 安装Kafka 访问Kafka官网，下载安装包版本（https://kafka.apache.org/downloads），下载 kafka_2.12-3.3.2.tgz，前面的 2.12 是 Scala ......
详解大数据中必不可少的消息中间件 kafka（3.x 新版本）
楔子 本次来聊一聊 kafka，相信大家都知道它是一个应用于大数据实时领域、基于发布/订阅模式的分布式消息中间件（或者说消息队列），能够和不同的进程进行通信，从而实现上下游之间的消息传递。有了消息队列之后，上游服务和下游服务就无需直接通信了，上游服务将消息发送到队列中，下游从队列中去取即可，从而实现 ......
fortron使用经验
# C# 调用 Fortron 的 dll 经验： 1. 需要在导出函数的地方标记函数名 ``` !DEC$ ATTRIBUTES DLLEXPORT::AAAA !DEC$ ATTRIBUTES VALUE:: nt, ms, nv, nf ``` 2. 需要在C#端，定义函数声明，注意名称为大写 ......
客户线上反馈：从信息搜集到疑难 bug 排查全流程经验分享
写在前面：本文是我在前端团队的第三次分享，应该很少会有开发者写客户反馈处理流程以及 bug 排查的心得技巧，全文比较长，写了一个多星期大概1W多字（也是我曾经2年工作的总结），如果你有耐心阅读，我相信在未来的问题排查上，一定会对你的思路拓展有些许帮助，考虑到篇幅问题，建议在阅读前泡上一杯茶，那么本文 ......
kafka安装
## 下载 下载kafka二进制文件  > 源码不可用于启动，会报错，无法找到kafka.kafka类 ......
7个工程应用中数据库性能优化经验分享
摘要：此篇文章分别从sql执行过程、执行计划、索引数据结构、索引查询提速原理、聚焦索引、左前缀优化原则、自增主键索引这些角度谈一谈我们对数据库优化的理解。 本文分享自华为云社区《工程应用中数据库性能优化经验小结》，作者： 叶工 。 1、前言 现阶段交付的算法产品，绝大多数涉及到数据库的使用。它承载的 ......
查看kafka指定位置offset消息
```java package com.infinitus.cdc.test; import org.apache.kafka.clients.consumer.ConsumerRecord; import org.apache.kafka.clients.consumer.ConsumerReco ......
Kafka 杂谈
开始之前 首先，此篇文章会有很多地方会和 RocketMQ 比较，不太熟悉 RocketMQ 可以去看看我之前写的RocketMQ基础概念剖析&源码解析，先有个大概的印象，可能会帮助你更好的理解 Kafka。 概览 什么是 Kafka？ 这里先给出结论，我不太希望在解释概念 X 的时候，说到「为了了 ......
使用NLog通过Kafka实现日志收集
使用NLog通过Kafka实现日志收集，最终在Kibana展示 NuGet包引用 <PackageReference Include="NLog.Kafka" Version="0.2.1" /> <PackageReference Include="NLog.Web.AspNetCore" Ver ......
Kafka实时数据即席查询应用与实践
Kafka中的实时数据是以Topic的概念进行分类存储，而Topic的数据是有一定时效性的，比如保存24小时、36小时、48小时等。而在定位一些实时数据的Case时，如果没有对实时数据进行历史归档，在排查问题时，没有日志追述，会很难定位是哪个环节的问题。 ......
kafka
broker一般指服务器资源 概念理解 topic： 逻辑概念，用于联系Producer 和 Consumer的message生产和消费。Producer 生产的消息放入一个topic中，由Consumer通过对同一个topic的订阅进行消费 broker： 物理资源，一般一个broker指底层的一 ......
面试八股文之kafka
Kafka是什么？它的主要作用是什么？ 什么是Kafka broker? 如何启动并配置它们？ Kafka中的“Topic”和“Partition”是什么？它们在Kafka中有何作用？ Kafka的消息如何被存储在磁盘上？这种存储方式有什么优缺点？ 生产者如何将消息发送到Kafka集群？何时会出现“ ......