经验kafka
embeddedkafka 方便测试的基于内存的kafka 实现
embeddedkafka 方便测试的基于内存的kafka 实现，可以用来方便的进行基于kafka 周边的测试目前embeddedkafka提供了stream，core，conenct 以及schema-registry，对于测试场景是一个不错的选择 参考资料 https://github.com/ ......
CI/CD 经验和避坑
一、坑点 1.1、后门漏洞 【问题】Jenkins 有后门，老问题。多年前有人发现，当时Jenkins团队也快速打了补丁(2.137以后)，但是你下载的某些插件如果有漏洞(比如最近Log4j的大雷) 也可能导致被黑。 【办法】 a、升级Jenkins到最新稳定版（2021-12-01最新2.319. ......
10年开发经验的程序员的自我介绍
大家好，我是曾树敏。非常高兴有机会向大家介绍一下自己。我是一名有着10年IT行业工作经验的程序员。 在过去的10年中，我一直致力于不断学习和提升自己的技术能力。我熟练掌握多种编程语言，如Java、Python和C++，以及常用的开发框架和工具。我能够快速分析问题并提供高效的解决方案。此外，我还有扎实 ......
【Kafka系列】（二）Kafka的基本使用
有的时候博客内容会有变动，首发博客是最新的，其他博客地址可能会未同步,认准https://blog.zysicyj.top 首发博客地址 文章更新计划 系列文章地址 Kafka线上集群部署方案怎么做 操作系统 先说结论，Kafka部署在Linux上要比Windows和Mac上性能高的多，主要是以下几 ......
前端远程调试方案 Chii 的使用经验分享
前端远程调试方案 Chii 的使用经验分享 Chii 是与 weinre 一样的远程调试工具 ，主要是将 web inspector 替换为最新的 chrome devtools frontend 监控列表页面可以看到网站的标题链接，IP，useragent，可以快速定位调试页面，监控页信息完善，支 ......
kafka使用
安装zookeeper 1.拉取zookeeper 镜像 docker pull bitnami/zookeeper:3.4 ## 启动zookeeper docker run -d --name zookeeper \ -p 2181:2181 \ -e ALLOW_ANONYMOUS_LOGIN ......
kafka基础
认识Kafaka 最初的定义：消息队列系统 0.10.0版本的定义：分布式流处理平台，发布-订阅消息队列，存储功能、流处理框架 3.x后的定义：分布式流平台，数据管道/集成、流分析 kafka的优势 吞吐量高、性能好 伸缩性好 高容错、高可靠 与大数据生态精密结合 kafka的作用 高并发环境下的缓 ......
kafka
kafka的partiton在实际的消息生产消费过程中是如何使用的。 安装 zookeeper安装 jdk安装~ #zookeeper 默认端口2181 数据缓存位置：zoo.cfg => dataDir=xxx 1.启动方式 ./zkServer.sh stop ./zkServer.sh sta ......
关于医院电子病历评级的一些经验分享
不可否认，2020年无疑是精彩纷呈的一年。随着疫情的消散，医疗机构终于回归了正常的运行轨迹。而本文，无疑是这一年精彩故事的一个片段。在这家公司中，我有幸成为了两次电子病历评级项目的负责人，尤其是首次执行，给我留下了深刻的印象。那场盛大的医疗检查之行，集结了众多医疗检查人员和各个医院的权威专家。而到了 ......
Ubuntu作业没搞懂？逐句解析的Linux作业经验！
在Linux环境安装过程中，Ubuntu增强功能的安装和共享文件夹的设置涉及到了终端与基本命令的使用。 我本人在操作过程中遇到了不少问题，感觉大家可能也会有和我一样的疑惑，所以在这里写一点在解决问题过程中获取到的经验。 本解析针对老师教程中的这一部分，也是我在操作过程中遇到问题最多的部分展开叙述。 ......
记录一次xlua修复构造函数的经验
需求：类型A包含多个重载构造函数（包含参数数量相同但参数类型不同的情况）。 修复方法：像这种修构造函数的lua，会注入到所有符合条件的函数中（参数数量相同的），但可能你只需要修复其中一个，这个时候可以在lua函数内部进行类型判断，来决定时候走热更代码。 local A = function(self ......
Kafka的零拷贝技术Zero-Copy
传统的拷贝过程 流程步骤： （1）操作系统将数据从磁盘文件中读取到内核空间的页面缓存； （2）应用程序将数据从内核空间读入用户空间缓冲区； （3）应用程序将读到数据写回内核空间并放入socket缓冲区； （4）操作系统将数据从socket缓冲区复制到网卡接口，此时数据才能通过网络发送。 此过程涉及到 ......
kafka中topic相关命令
坑 1、在windows里安装的kafka相关命令一定要是bin\windows目录下 // 正确示例 .\bin\windows\kafka-topics.bat --bootstrap-server localhost:9092 --list // 错误示例 .\bin\kafka-topics ......
系统架构设计师面试java架构师 面试经验分享
系统架构设计师面试java架构师 面试经验分享 一、[java架构师面试经验(广州) - 阿里巴巴] 面试过程： 面试问的技术底层是实现原理，高并发处理经验，工作中遇到的困难，以及计算机基础，网络基础数据结构，操作系统汇编语言计算机指令，消息中间件，数据库，redis，Linux操作系统内核，Jvm ......
kafka
Kafka学习笔记_day01适用场景：大数据场景消息队列模式点对点模式消费者主动拉取数据，消息收到以后清除消息发布/订阅模式可以存在多个Topic主题消费者消费完数据以后，不删除数据每个消费者相互独立，都可以消费到数据基础架构内部将一个Topic(主题)分为了多个partition(分区)，并配合 ......
Kafka与RabbitMQ
一、什么是kafka，什么是rabbit Kafka是由Scala语言开发的一种分布式流处理框架，主要用于处理活跃的流式数据，以及大数据量的数据处理。它采用发布-订阅模型，支持消息的批量处理，数据的存储和获取是本地磁盘顺序批量操作，这使得消息处理的效率较高，吞吐量较大。 RabbitMQ则是由Erl ......
KafKa概述
概述 KafKa就是一个消息队列： 作用概况为：解耦、异步、削峰 https://juejin.cn/post/6996826368512098317 使用消息队列的好处 解耦 （类似Spring的IOC） 允许你独立的扩展或修改两边的处理过程，只要确保它们遵守同样的接口约束。 可恢复性 系统的一部 ......
深入理解Kafka（二）、消费者
1、客户端开发 一个消费者应该具有的几个步骤： 配置消费者客户端参数以及创建消费者实例； 订阅主题； 拉取消息并消费； 提交消息位移； 关闭消费者实例； Kafka 消费者示例 public class KafkaConsumerAnalysis { public static final Stri ......
【组态王-经验】
整理于2023.9.13 1.自定义函数时候，申明成你传参的类型即可，写了一个来回复位的函，方便选中取消设备 varRefAddress("灯9","ddd1");//前面等于后面，普通变量引用 ， StructVarRefAddress是结构变量引用 参考：http://bbs.gkong.com ......
filebeat收集nginx日志发送到kafka，Logstash 读取 Kafka 日志消息队列到Elasticsearch，kibana做图形展示
服务器配置 es集群：10.0.0.70、10.0.0.71、10.0.0.72kibana：10.0.0.73mysql：10.0.0.73filebeat1-web1：10.0.0.74filebeat2-web2：10.0.0.76kafka1-logstash1：10.0.0.77kafka ......
十年开发经验集团老师给我测试面试JavaSE中的一些面试题
给我们上实训课的老师是学校请来的有着多年的实际开发经验的老师，我们进行了模拟面试，简单的问了几个JavaSE中的基础问题，当时我也只回答出来了一点点，只是浅谈了表面，没有实际深入应用，因为没有什么项目经验，也就只停留在懂得语法层面，根据记忆把当时给我面试老师出的题目分享给大家，附上我的理解 list ......
Kafka 生产和消费消息（命令行下）
注：生产消息之前要先建立topic,如下图所示 以下是kafka-topics.bat命令的几个参数介绍 1.生产消息 2.消费消息 ......
【经验分享】使用 WIFI 魔盒，手机上测试 WIFI 信号强度，ping 命令等参数和功能
环境： 工具：WIFI 魔盒，一部手机 环境：无线 WIFI 网络环境 需求描述： 描述：有时不在现场，而另外一个地方的客户却要测试无线网络的环境，或者需要他们先自行排障，很多时候他们都是不会测试和使用这个软件 提示：若按照教程还是无法完成操作，可以进入右侧的企鹅，找我看看。 实现方法-视频与文字教 ......
RabbitMQ、RocketMQ和Kafka的不同之处
RabbitMQ、RocketMQ和Kafka是三种常见的消息队列系统，它们在设计和使用方面有一些不同之处： 架构设计： RabbitMQ：RabbitMQ是一个基于AMQP（高级消息队列协议）的开源消息队列系统，采用的是传统的Broker架构模式，其中包括生产者、消费者和中间件（Broker）。 ......
一次kafka消息丢失问题处理
背景&现象 生产微服务架构环境，kafka消息消费服务架构如下： 当服务B接口出现宕机或者B接口调用超时，kafka消息消费端服务A出现异常，异常发生后未执行手动提交offset操作。待服务B恢复后，消费端A服务也恢复正常，但之前消费异常的消息在broker自动变为已消费，实际未消费（数据库中无处理 ......
将积压的kafka消息批量消费完(不做处理)
要重置 Kafka 消费者的当前 offset，你可以使用 Kafka 提供的 kafka-consumer-groups.sh 命令行工具来执行重置操作。以下是如何执行重置 offset 的步骤： 确定要重置 offset 的消费者组的名称和消费主题的名称。 使用 kafka-consumer-g ......
OGG-Postgres实时同步到Kafka
（一）数据同步信息 名称 源端 名称 目标端 数据库类型 Postgresql 12.4 组件类型 Kafka IP地址 20.2.127.23 Broker地址 20.2.125.52:9092, 20.2.127.23:9092, 20.2.127.24:9092 端口 5432 端口 9092 ......
kafka—快速入门
简介 Kafka 是最初由 Linkedin 公司开发，是一个分布式、支持分区的（partition）、多副本的（replica）。基于 zookeeper 协调的分布式消息系统。 它的最大的特性就是可以实时的处理大量数据以满足各种需求场景：比如基于hadoop的批处理系统、低延迟的实时系统、Sto ......
深入理解Kafka（一）、生产者
一、客户端开发 客户端需要具备以下功能： 配置生产者客户端参数以及创建相应的生产者实例； 构建待发送的消息； 发送消息； 关闭生产者实例； 基础 Kafka 客户端代码： public class KafkaProducerAnalysis { public static final String ......