经验kafka
docker-compose部署kafka3.4.x without zookeeper
创建数据目录 # mkdir -pv /data/apps/kafka/{kafka1_data,kafka2_data,kafka3_data} # chown -R 1001.1001 /data/apps/kafka/kafka* docker-compose.yaml version: "3 ......
2023年XX百万职工技能大赛 XX区网络安全与信息管理员比赛 经验之谈
序言比赛以国家职业技能标准（网络与信息安全管理员）要求为准，由专家命题团队进行理论题和实操题的命题，考察内容涵盖网络安全法律法规、技术知识点、应急响应处置、计算机取证、操作系统安全、数据库安全、中间件安全、Web应用、数据包分析、密码学、数据恢复、新技术新应用等，科目设置全面并具备较高难度，提升了答 ......
Win11使用经验
记录 Win11 中遇到的问题 ## 打开文件夹时卡死 一直转圈，进入不了文件夹 Win11 打开文件夹时卡死 重启就能再次打开 更改UAC设置 已尝试过这种方法： 2、打开后，输入“MSConfig”，回车运行。 3、接着勾选“有选择的启动”，取消“加载启动项”4、然后进入“工具”，点击“更改UA ......
大连工业大学艺术与信息学院面试经验分享
个人感觉这个民办高校就是在全年365天不间断的招聘，或许这才是比较差劲的一个地方。一般这个高校的招聘都是全网撒网，不论是BOSS直聘还是啥的招聘网站，都会有这个民办高校的招聘消息。这个民办高校不仅要考虑你的学历还要考虑你是否可以在这个地方长久的干下去，因此并不是说你的学历高、能力强就一定能入职的，这 ......
kafka-es.go
package es import ( "context" "encoding/json" "fmt" "kafka/mongo" "log" "os" "github.com/olivere/elastic" ) var client *elastic.Client var host = "htt ......
kafka-mongo.go
package mongo import ( "context" "fmt" "log" "go.mongodb.org/mongo-driver/bson" "go.mongodb.org/mongo-driver/mongo" "go.mongodb.org/mongo-driver/mongo ......
2023-07-16：讲一讲Kafka与RocketMQ中零拷贝技术的运用？
2023-07-16：讲一讲Kafka与RocketMQ中零拷贝技术的运用？ 答案2023-07-16： **什么是零拷贝?** 零拷贝(英语: Zero-copy) 技术是指计算机执行操作时，CPU不需要先将数据从某处内存复制到另一个特定区域。这种技术通常用于通过网络传输文件时节省CPU周期和内存 ......
Swagger 管理 API 的一些经验分享
Swagger 是一款开源的 API 设计工具，主要用于构建、设计、编写和使用 RESTful Web 服务。可以帮助开发人员设计和编写 API，以及创建出色的 API 文档。Swagger 是一个强大的开源框架，支持 API 开发全生命周期，包括设计、构建、文档和使用。 Swagger 的核心部分 ......
2023-07-14：讲一讲Kafka与RocketMQ中存储设计的异同？
2023-07-14：讲一讲Kafka与RocketMQ中存储设计的异同？ 答案2023-07-14：  **在Kafka中，文件的布局采 ......
同步同一个Kafka Topic的不同消费者
分布式系统中的同步很困难。您可能的目标是尽可能多地防止它。但有时业务需求需要协调对数据新鲜度有严重依赖的不同服务。 为了概括起见,假设架构由_Service-A_、_Service-B_和_Service-C_组成。它们都使用来自同一个 Kafka 主题的消息,但显然根据各自的业务逻辑、API 和 ......
三台服务器配置简易Kafka集群+debug记录
使用了3台阿里云服务器做实验，搭建kafka集群，可以通过java程序生产消息到云服务器。中途遇到许多问题，仅在此记录一些配置信息，安装过程省略。 ## 服务器信息 | host name | 私网IP | 公网IP | | | | | | server001 | 172.24.16.132 | 6 ......
Kafka系列---【Kafka工作原理】
#Kafka工作原理  ##常用概念 - Broker：可以理解为一个节点，一台kafka服务。 - Topic（主题 ......
kafka-consumer.go
package consumer import ( "fmt" "sync" "github.com/Shopify/sarama" ) type CRead func() string func Run() { var wg sync.WaitGroup consumer, err := sara ......
kafka-producer.go
package producer import ( "fmt" "github.com/Shopify/sarama" ) type CRead func() string func Run(cRead CRead) { config := sarama.NewConfig() config.Pro ......
kafka-main.go
package main import ( "bufio" "kafka/consumer" "kafka/producer" "os" "strings" ) var inputReader *bufio.Reader func init() { inputReader = bufio.NewRe ......
[GIT]解决：failed to push some refs to ...（经验复盘）
# 1 问题描述 ``` shell johnnyzen@XXDSSS MINGW64 /e/source_code/BigData/bdp_common_data_service (develop) $ git push To gitlab-bigdata.johnnyzen.cn:platfor ......
（二）kubernetes部署kafka
与前面的zookeeper一样需要持久化存储，因此还是先创建PV，然后再部署kafka。 ##### 2、配置nfs **创建需要作为nfs共享的目录** `mkdir /home/nfs/kafka-0` **添加权限** `chmod 777 /home/nfs/kafka-0` **编辑配置* ......
springboot整合kafka
一、引入依赖 （kafka的版本和springboot的版本对不上的话，启动会报错，包类不存在） <dependency> <groupId>org.springframework.kafka</groupId> <artifactId>spring-kafka</artifactId> <vers ......
同时处理列表分页加载功能和Reload功能经验
功能背景: 1. 首先我们这个列表它带有搜索功能 2. 左边是列表，右边为详情。 3. 页面上方有添加新项功能, 会放到第一个。 4. 这是一个零件列表, 同一个页面可以有无数个这种零件列表 第一，列表带有搜索功能，当搜索的发生改变时要将请求页数重置为1。这里我们应该如何做呢？当请求成功并拿到数据后 ......
kafka基础命令
查看所有topic kafka-topics --list --zookeeper host:2181/kafka 查看所有topic详情，若要查看单个，在 --describe后加具体topic名 kafka-topics --describe --zookeeper host:2181/kafk ......
4000 essential English words 经验分享
4000 essential english words 这套教材的重要性不言而喻，目前已经是第二版了，这个版本的内容对高频词进行了一部分调整，更贴近日常使用。很多人不知道这套书怎么上手，下面具体分享我的经验。 常见的词根词缀、谐音、故事法、拼读法等都在这套教材里用到，并且是体系化的每个单词拆开了， ......
Linux各种作死故障与修复方法，全面复盘全程高能，系统级故障救援经验汇总
1 linux启动过程 1. 启动过程分析 2. 启动级别init 0，init3, init5 init6。 3. systemd 服务管理。 4. systemd 导致系统反复重启： 2 磁盘与分区配置文件 1. 磁盘UUID 和磁盘设备路径。 2. /etc/inittab, /etc/fst ......
2023-07-10：Kafka如何做到消息不丢失？
2023-07-10：Kafka如何做到消息不丢失？ 答案2023-07-10： Kafka采用多种机制来确保消息的不丢失，其中包括副本机制、ISR（In-Sync Replicas）机制以及ACK机制等。 1.副本机制 Kafka通过副本机制来确保消息不会丢失。在Kafka中，每个分区都可以配置多 ......
Kafka 存储
[TOC] # 逻辑存储  # 持久化 持久化是 Kafka 的一个重要特性。 Kafka 集群持久化保存（使用可配置的保留期限）所 ......
程序员创业经验谈
前言 在 2019 年的秋季，我辞去了软件工程师的工作，全身心投入到 Shopify 应用的开发。我的目标是实现财务自由，而我设定的第一个重要的里程碑就是实现盈利。到了 2023 年的春天，我终于开始盈利。至今，我已经开发了 7 个 Shopify 应用，几个 AI 相关的产品，以及一些与加密货币相 ......
Kafka 集群
[TOC] # Kafka 和 ZooKeeper Kafka 使用 Zookeeper 来维护集群成员的信息。每个 Broker 都有一个唯一标识符，这个标识符可以在配置文件里指定，也可以自动生成。 在 Broker 启动的时候，它通过创建 **临时节点** 把自己的 ID 注册到 Zookeep ......
springcloud -stream消息驱动（去差异化 >>目前只支持rabbitmq and kafka） 此处使用rabbitmq用作实例子
生产者 核心依赖 <dependency> <groupId>org.springframework.cloud</groupId> <artifactId>spring-cloud-starter-stream-rabbit</artifactId> </dependency> yml配置文件 s ......
filebeat无法传递数据到kafka
## 一、故障现象 filebeat无法传递数据到kafka，但是topic却能创建成功，就很神奇。 ```sh kafka 10.0.7.7 filebeat 10.0.7.5 在kafka机器上执行消费者，一直没有数据 kafka-console-consumer.sh --bootstrap- ......
吊炸天的 Kafka 图形化工具 Eagle，必须推荐给你
Kafka是当下非常流行的消息中间件，据官网透露，已有成千上万的公司在使用它。最近实践了一波Kafka，确实很好很强大。今天我们来从三个方面学习下Kafka：Kafaka在Linux下的安装，Kafka的可视化工具，Kafka和SpringBoot结合使用。希望大家看完后能快速入门Kafka，掌握这 ......
Kafka 可靠传输
[TOC] # 消息不丢失 如何保证消息的可靠性传输，或者说，如何保证消息不丢失？这对于任何 MQ 都是核心问题。 一条消息从生产到消费，可以划分三个阶段： - **生产阶段**：Producer 创建消息，并通过网络发送给 Broker。 - **存储阶段**：Broker 收到消息并存储，如果是 ......