消息golang kafka
Python-操作kerberos验证的kafka
本笔记为python操作kerberos认证的kafka的操作方法，此仅记录作为使用者，连接客户提供的kafka并进行操作的流程。 1、依赖安装： python相关依赖库： pip3 install kafka-python pip3 install gssapi 系统（镜像）：需要安装kerber ......
Golang泛型的简单使用
package main import "fmt" // MyInt ~表示不仅支持int8, 还支持int8的衍生类型int8A和int8B type MyInt interface { int | ~int8 | int16 | int32 | int64 } func getMaxNum[T ......
Systemd集成Golang二进制程序
首先新建Service，名称叫做server-api vim /lib/systemd/system/server-api.service [Unit] Description=server api [Service] Type=simple Restart=always RestartSec=5s ......
kafka介绍
官网：https://kafka.apache.org/ Kafka是一个分布式事件流平台 1 介绍 核心特性：高吞吐量、弹性、持久化存储、高可用 事件流类似人类的中枢神经系统。越来越多的业务被软件实现和自动化，在此种情况下软件的用户还是软件。技术上讲，事件流就是实时的从事件源(数据库,传感器,移动 ......
@RabbitListener不起作用,无法订阅消费消息
@RabbitListener( bindings = { @QueueBinding( exchange = @Exchange(name = "test_event", type = "topic"), value = @Queue(name = "test_queue"), key = "ev ......
【对象存储】Minio本地运行和 golang客户端基本操作
运行环境 OS和Golang版本： go version go1.21.0 darwin/arm64 安装 源码安装 下载最新版本的源码，地址https://github.com/minio/minio后编译 cd minio go build main.go # 得到 116M Oct 19 15 ......
就这么一段代码，跑死了我的笔记本 C# RabbitMQ 消息队列
十年河东，十年河西，莫欺少年穷 学无止境，精益求精 为了实现RabbitMQ的延迟队列，我做了如下代码 也就是如下代码，将我的电脑跑死了好几次 入口函数如下： public static void Main(string[] args) { for(int i = 0; i < 10; i++) { ......
python调用企业微信发送消息
# -*- coding: utf-8 -*-import os from requests import requestfrom loguru import loggerimport base64import hashlibimport re class WechatBot: """ 企业微信机器 ......
golang 实现协程池
import ( "fmt" "sync" "time" ) type Task func() type ThreadPool struct { workerCount int taskQueue chan Task wg sync.WaitGroup } func NewThreadPool(wo ......
STM32 + ESP32(AT固件 MQTT协议) + MQTTX（桌面终端） + （EMQX消息服务器）
翻出老物件，搭建一个简单的 IOT 开发环境，也算是废物利用了 ，接下来加传感器。1. STM32 采集数据： RTOS。 资源相对比较丰富，可以根据项目需求定制。2. ESP32 网络传输(AT固件 MQTT协议) ： AT：封装好的接口，扩展性不是那么好，业务简单的话将就可以用。 SDK：接口比 ......
玩一玩 golang 汇编(二)
作者:张富春(ahfuzhang)，转载时请注明作者和引用链接，谢谢！ cnblogs博客 zhihu Github 公众号:一本正经的瞎扯 上次玩 golang 汇编是使用了一个 python 的 intel 汇编转换 plan9 汇编的工具，很不好用。 本次试试一些 golang 实现的工具。 ......
zokeeper和kafka关系
在部署 Kafka 时，有必要同时部署 ZooKeeper 是因为 Kafka 使用 ZooKeeper 来管理和协调其集群的状态和配置信息。 ZooKeeper 是一个分布式协调服务，在 Kafka 中被用作集群协调器。Kafka 集群中的每个节点都会与 ZooKeeper 进行通信，以共享元数据 ......
2023年下半年软考考试重磅消息
重磅消息一：科目连考，分批考试 2023年下半年软考考试，采取科目连考、分批次考试的方式。 什么是科目连考？ 连考就是第一个科目作答结束交卷完成后，自动进入第二个科目的考试，第一个科目剩余的时长可为第二个科目使用。 采用连考方式后，考试时间也跟着调整了。比如中级软考，不再分为上午和下午考试，而是上午 ......
Kafka 消费者组
一个分区对不同消费组是共享的，对同一个消费组里的消费者是互斥的； 参考文章 【1】https://cloud.tencent.com/developer/article/1540509 ......
MQ系列16：MQ实现消息过滤处理
MQ系列1：消息中间件执行原理 MQ系列2：消息中间件的技术选型 MQ系列3：RocketMQ 架构分析 MQ系列4：NameServer 原理解析 MQ系列5：RocketMQ消息的发送模式 MQ系列6：消息的消费 MQ系列7：消息通信，追求极致性能 MQ系列8：数据存储，消息队列的高可用保障 M ......
【介绍一个工具】图形化界面查看一个 golang 二进制文件的汇编代码
作者:张富春(ahfuzhang)，转载时请注明作者和引用链接，谢谢！ cnblogs博客 zhihu Github 公众号:一本正经的瞎扯 通常，可以通过命令行工具，来查看一个代码文件对应的汇编代码： go build -gcflags -S api.go // 或者 go tool compil ......
golang常见用法
结构体数组与接口数组转换 如果想把[]struct转为[]interface，我们发现直接赋值会报错。 理论上interface可以转换任何数据，为什么结构体数组不可以呢？这是因为interface的设计导致的，如果能理解interface的底层实现，就能很清楚知道如何转换了。 如图所示，与C++的 ......
golang生成uuid
1，借助linux系统命令 /usr/bin/uuidgen 1.1 代码 package main import ( "fmt" "log" "os/exec" ) func main(){ out,err := exec.Command("uuidgen").Output() if err!=n ......
Kraft模式下Kafka脚本的使用
Kafka集群 版本：V3.5.1 名称 Node1 Node2 Node3 IP 172.29.145.157 172.29.145.182 172.29.145.183 （1）查看Kraft集群中的状态以及Leader节点，投票节点 使用--status可以查看集群选举次数/水位线以及投票节点等 ......
celery 分布式异步消息任务队列
一、介绍 中文网：Celery 初次使用 - Celery 中文手册 (celerycn.io) Celery 官网：http://www.celeryproject.org/ Celery 官方文档英文版：http://docs.celeryproject.org/en/latest/index. ......
安防视频监控系统EasyCVR视频汇聚存储平台定制化开发：新增kafka配置
Kafka最大的特性就是可以实时处理大量数据以满足各种需求场景：比如基于hadoop的批处理系统、低延迟的实时系统、storm/Spark流式处理引擎，web/nginx日志、访问日志，消息服务等。 ......
浏览器事件循环 event loop（消息循环）
打开浏览器 即 开启一个浏览器进程 （主要负责浏览器UI，用户交互，子进程拉起关闭等） 并由浏览器进程拉起网络进程（多Tab共享）采用多线程模式，GPU 进程（多Tab共享）等 当每开启一个 tab 页，浏览器进程会负责为该 Tab 拉起一个渲染进程，每一个渲染进程都会拉起一个渲染主线程（单线程模式 ......
RocketMQ 为什么会丢消息，如何保证消息不丢失
Producer 丢消息 1.同步发送 RocketMQ发送消息有三种模式，即同步发送，异步发送、单向发送。 同步发送消息时会同步阻塞等待Broker返回发送结果，如果发送失败不会收到发送结果SendResult,这种是最可靠的发送方式。 异步发送消息可以在回调方法中得知发送结果。 单向发送是消息发 ......
彻底搞懂Docker容器与Kraft模式kafka集群关于消息大小相关参数设置
Docker部署的设置 部署背景： 在DockerHub拉取的bitnami/kafka:3.4.1 镜像，如果要部署在Docker-Swarm集群或者单Docker部署，对于消息大小设置需要添加参数 KAFKA_CFG_MESSAGE_MAX_BYTES，如何设置为其他不符合规范的参数格式，会导致 ......
从一次Kafka宕机说起（JVM hang）
一、背景 时间大概是在夏天7月份，突然收到小伙伴的情报，我们线上的一个kafka实例的某个broker突然不提供服务了，也没看到什么异常日志，反正就是生产、消费都停了。因为是线上服务，而且进程还在，就是不提供服务了，第一反应就是保留一下 stack 信息，先重启吧 因为这个现象是第一次出现，不确定是 ......
分布式应用开发的核心技术系列之——基于TCP/IP的原始消息设计
本文由葡萄城技术团队原创并首发。转载请注明出处：葡萄城官网，葡萄城为开发者提供专业的开发工具、解决方案和服务，赋能开发者。 前言 本文的内容主要围绕以下几个部分： TCP/IP的简单介绍。 消息的介绍。 基于消息分类的传输格式（流类型和XML类型）。 消息体系的组成。 TCP/IP的简单介绍 TCP ......
MQ消息发送之后，为啥要反查上游系统
总结如下：反查上游系统其实目的就是为了保证上下游系统的数据要最终一致性，因为消息打到不同的队列里面，每个队列的消费速度可能快可能慢，所以不能把数据内容放到消息body里面，否则会出现上下游系统数据不一致的情况。 ......
【转】dive into golang database/sql(1)
转，原文：https://www.jianshu.com/p/3b0b3a4c83da 数据库操作是一个应用必不可少的部分，但是我们很多时候对golang的sql包仅仅是会用，这是不够的。每一条语句的执行，它的背后到底发生了什么。各式各样对sql包的封装，是不是有必要的，有没有做无用功？ 这是go ......
【转】dive into golang database/sql(2)
转，原文： https://www.jianshu.com/p/807257fcb985?utm_campaign=studygolang.com&utm_medium=studygolang.com&utm_source=studygolang.com 当我们拿到一个DB实例之后就可以操作数据库了 ......