经验kafka
SpringBoot-Learning系列之Kafka整合
SpringBoot-Learning系列之Kafka整合 本系列是一个独立的SpringBoot学习系列，本着 What Why How 的思想去整合Java开发领域各种组件。 消息系统 主要应用场景 流量消峰(秒杀 抢购)、应用解耦（核心业务与非核心业务之间的解耦） 异步处理、顺序处理 实时数据 ......
kafka3.x 简单使用
*** 保证kafka和zookeeper已经在linux上进行了安装，目录需要改为自己的目录 *** kafka2.8之后引入了kraft机制，不用zookeeper也能启动 参数介绍 --create 创建一个topic --topic [your_topic_name] 创建的topic的信息 ......
嵌入式面经_20届师兄谈笔试_八股文_简历_项目经验分享
嵌入式面经_20届师兄谈笔试_八股文_简历_项目经验分享 111道嵌入式面试题答案汇总专栏链接 --> 《嵌入式/C++面试题解析大全》 1、个人经历 本人2020年毕业于广东工业大学研究生：许乔丹，有国内大厂CVTE和世界500强企业嵌入式/安卓开发经验，谈谈一些感想。2023都说前端后台卷死，相 ......
Java后端学习路线经验分享--全网最靠谱
本文是Java自学的经验分享，5个月即可入职Java后端开发岗位。
我之前是自学的Java，Java零基础，用了5个月的时间，拿到了5家offer：恒生电子（12K）、九翊科技（13K）、良业科技（12K），九慧科技（9K），还有一家忘记名字了。
有的东西不能复制，但学习Java的方法是可以复制... ......
OGG-将PostgreSQL通过OGG_BigData同步到Kafka后数据存在8小时时间差
问题描述： 将PostgreSQL通过OGG_BigData同步到Kafka后数据存在8小时时间差。 问题原因： kafka.properties中的参数goldengate.userexit.timestamp=utc 解决办法： 修改kafka.properties中的参数goldengate. ......
ClickHouse Kafka引擎
转：https://blog.csdn.net/qq_28603127/article/details/109556177 Kafka引擎用力读取kafka中的数据,创建表语句 CREATE TABLE [IF NOT EXISTS] [db.]table_name [ON CLUSTER clus ......
火山引擎 DataTester 首推A/B实验经验库，帮助企业高效优化实验设计能力
更多技术交流、求职机会，欢迎关注字节跳动数据平台微信公众号，回复【1】进入官方交流群 近日，火山引擎 DataTester 推出了重要功能——A/B实验经验库。 基于在字节跳动已完成150万余次A/B实验的经验，DataTester 首创了A/B实验经验库功能。该功能可帮助业务人员将历史的A/B实验 ......
Kafka-启动时报错: ERROR Fatal error during KafkaServer startup. Prepare to shutdown
一、问题描述 在启动kafka时报错： ERROR Fatal error during KafkaServer startup. Prepare to shutdown (kafka.server.KafkaServer) kafka.common.InconsistentBrokerIdExce ......
使用Debezium、Postgres和Kafka进行数据实时采集（CDC）
使用Debezium、Postgres和Kafka进行数据实时采集（CDC） 码匠君 2021-07-18 16:481994 1. 背景 一直在完善自己的微服务架构，其中包含分布式工作流服务的建设，目前采用的是Camunda工作流引擎。使用Camunda工作流，就会涉及到工作流引擎的用户体系如何与 ......
kafka 消费者没反应的问题，针对版本3.4.0
3.4.0的版本有点不一样，不加 --group，消费者会没有反应，一直消费不到数据，console里也没有任何异常。 kafka-console-consumer.bat --bootstrap-server localhost:9092 --topic testkafka --group tes ......
Scrum敏捷开发模式的优势、实践经验及适用企业分享
Leangoo领歌是一款永久免费的专业敏捷开发管理工具，支持私有部署，它提供端到端敏捷研发管理解决方案，包括小型团队敏捷开发，规模化敏捷SAFe，Scrum of Scrums大规模敏捷，涵盖敏捷需求管理、任务协同、进展跟踪、缺陷管理、统计度量等。提供了不同视角的统计，例如：进度统计、燃尽图、团队速... ......
Git使用经验总结3-删除远端提交记录
[toc] # 1. 问题 如果将有问题的代码提交到代码仓库甚至已经push到远端，这个时候就得想办法把提交撤销。一种方案是使用git revert，不过会造成历史记录留存的问题，git revert实际上是将某个版本又重新提交了一遍，之前提交的历史记录仍然存在。 # 2. 解决方案 如果想删除远端 ......
kafka消费者指定分区
String topic = "test"; TopicPartition partition0 = new TopicPartition(topic, 0); TopicPartition partition1 = new TopicPartition(topic, 1); consumer.as ......
用户案例 | 蜀海供应链基于 Apache DolphinScheduler 的数据表血缘探索与跨大版本升级经验
 ## 导读 蜀海供应链是集销售、研发、采购、生产、品保、仓储、运输、信息、金融为一体的餐饮供应链服务企 ......
docker 中安装kafka
docker 中安装kafka docker 中安装kafka 在安装kafka之前需要先安装zookeeper，因为kafka 启动会将元数据保存在 zookeeper 中，zookeeper是一种分布式协调服务，可以再分布式系统中共享配置，协调锁资源，提供命名服务。 zookeeper 安装 1 ......
小白的经验与教训
题记：说是经验与教训，但这两个其实是一码事。因为往往是吃了教训，才会有经验。 ### 1、认真对待工作中的每一件事 #### 严格遵守研发规范 严格遵守研发规范，每一条都很重要 例：同中心小伙伴，做删除操作时，依赖于其他同事的参数。而用户操作后导致参数为空，而他又没做有效性校验。 导致执行：dele ......
【Kafka3.0】生产调优
[toc] ## 1. Kafka 硬件配置选择 ### 场景说明 100 万日活，每人每天 100 条日志，每天总共的日志条数是 100 万 * 100 条 = 1 亿条。 1 亿/24 小时/60 分/60 秒 = 1150 条/每秒钟。 每条日志大小：0.5k - 2k（取 1k）。 1150 ......
KAFKA
Kafka消息队列的两种模型： 点对点模式： 在点对点模式中，有一个消息生产者（Producer）将消息发送到特定的消息队列（Queue），然后消息消费者（Consumer）从该队列中获取消息。每个消息只能被一个消费者接收，即使有多个消费者监听同一个队列，每条消息也只会被其中一个消费者消费。这种模式 ......
kafka的幂等性
什么是幂等性： 无论发送多少次相同的请求，最终的结果都是一致。 问： 那他又是如何保证消息不会被重复发送的？ 答： Kafka 通过 Producer Id（生产者标识符）和 Sequence Number（序列号）来保证消息不会被重复发送。以下是 Kafka 如何实现这一点的工作原理： Produ ......
kafka-manager安装（CentOS7 + kafkamanager 3.0.0.1）
Linux系统-部署-运维系列导航 kafka-manager介绍 kafka-manager是目前最受欢迎的kafka集群管理工具，最早由雅虎开源，用户可以在Web界面执行一些简单的集群管理操作。 之前叫kafka-manager，现在改名叫CMAK（Cluster Manager for Apa ......
kafka集群安装（CentOS7 + kafka 2.7.1）
Linux系统-部署-运维系列导航 kafka介绍 Kafka是最初由Linkedin公司开发，是一个分布式、分区的、多副本的、多订阅者，基于zookeeper协调的分布式日志系统（也可以当做MQ系统），常见可以用于web/nginx日志、访问日志，消息服务等等，Linkedin于2010年贡献给了 ......
nginx location配置规则与经验
Linux系统-部署-运维系列导航 文档说明 nginx使用过程中，配置最多的，最难以理解的，也是最容易出问题的，就是location块级指令，本文旨在将location相关配置规范以及使用经验，搜集汇总，便于需要时查看。 特别说明：本文详细内容大部分为网络搜集整理，旨在提供一条学习路线，让我们有条 ......
服务器DELL R710配置安装centos经验之谈
写这篇文章的时候刚刚给一台DELL R710安装完系统。第一次给服务器安装系统。文章不会详细描述安装过程，网上有很多。只会描述我所遇到的问题。其实服务器无外乎大了一些，硬件自检时间长了一切。其他的和普通的PC并无差别。更多技术干货详见www.linuxprobe.com ......
【Kafka系列】（一）Kafka入门
> 有的时候博客内容会有变动，首发博客是最新的，其他博客地址可能会未同步,认准`https://blog.zysicyj.top` [首发博客地址](https://blog.zysicyj.top/) [系列文章地址](https://blog.zysicyj.top/categories/技术文 ......
kafka分区重分配后的顺序性一
问： 当某个 topic 的分区数发生变化时，之前已经写入的消息可能会被重新分配到不同的分区中。这里说是不是消息已经分配到分区中，在分区数变化后，也会重新分配 答： 是的，当某个 Kafka 主题（topic）的分区数发生变化时，已经写入该主题的消息可能会被重新分配到不同的分区中。这是因为Kafka ......
kafka分区重分配后的顺序性二
问： 会影响到消息的准确性吗？ 答： 分区数的变化通常不会直接影响消息的准确性，因为 Kafka 的分区机制旨在提供消息的持久性和可靠性。消息在写入分区时会被持久化，并且 Kafka 会确保消息不会丢失。但是，分区数的变化可能会对消息的处理和消费产生一些间接影响，可能会导致消息被重新分配到不同的分区 ......
kafka分区重分配后的顺序性三
问： 如果是使用消息键保证顺序性，当重新分区后，相同key的消息顺序会改变吗？ 答： 使用消息键（Message Key）可以确保具有相同键的消息被写入到同一个分区中，从而在分区内保持消息的顺序性。这意味着只要相同键的消息始终被写入相同的分区，它们的顺序就会得到保持。 然而，当分区数发生变化时，可能 ......
Git使用经验总结2-配置用户名邮箱
可以使用git config指令来配置一些设置，比如配置用户名邮箱。在开发团队要求成员配置用户名和邮箱是很有用的，可以配合工具区分成员的代码，以及将代码中的问题发送给成员的邮箱中。 查看当前Git的用户名及邮箱的指令： ```shell git config user.name git config ......
Linux日志管理经验总结（crontab+logrotate）
Linux系统-部署-运维系列导航 日志管理目标 日志的管理，一般包括两大部分 日志内容，合理的日志内容（日志锚点，内容格式，等）可以为应用服务的执行记录、问题排查提供最有力的帮助 日志存档规则，包括日志分割方式（按日期、按文件大小，等），日志存档数量，如只保存最近一个月，等 对于自行开发的应用服务 ......