springcloud stream kafka
Flink CDC写入数据到kafka几种格式
Flink cdc写入kafka数据格式 主要记录flink cdc写入kafka几种常见的数据格式，其中包括upsert-kafka写入后正常的json格式，debezium-json格式以及changelog-json格式。 upsert-kafka 正常json数据格式 -- insert 操 ......
Kafka Connect用法
1.情景展示 传统的消息中间件，如果我们想要应用到自己的系统当中，就必须在框架里面进行集成。 也就是说，必须将连接消息中间件的代码（如：生产者和消费者）嵌入到我们的web系统中，这就是所谓的硬编码。 这种硬编码的方式，侵入性强，开发成本相对较高，它要求开发人员不仅要关注业务，还要兼顾技术实现。 这也 ......
【Kafka学习-3】Kafka命令
【Kafka学习-3】Kafka命令 Kafka的命令都是基于bin目录下的脚本来使用的。 Topic命令 Topic的命令脚本是kafka-topics.sh，常见命令参数说明： --bootstrap-server <String: server toconnet to> 连接的Kafka Br ......
Kafka干货之「零拷贝」
一、背景 周所周知，Kafka是一个非常成熟的消息产品，开源社区也已经经历了多年的不断迭代，特性列表更是能装下好几马车，比如：幂等消息、事务支持、多副本高可用、ACL、Auto Rebalance、HW、Leader Epoch、Time Index、Producer Snapshot、Stream ......
SpringCloud是什么
问题总结 Spring Cloud常用组件？ Spring Boot和Spring Cloud的区别和联系？ 问题答案 Spring Cloud常用组件？ Spring Cloud组件 描述 Eureka 服务治理组件，包含服务注册中心、服务注册与发现机制的实现。 Ribbon 服务调用和客户端负载 ......
图解Kafka Producer常用性能优化配置参数
1 基本参数 bootstrap.servers：Kafka broker服务器地址列表，,分开，可不必写全，Kafka内部有自动感知Kafka broker的机制 client.dns.lookup：客户端寻找bootstrap地址的方式，支持两种方式： resolve_canonical_boo ......
Gradle+SpringCloud学习记录（一）
项目环境 IntelliJ IDEA 2023.2.5 (Ultimate Edition) OpenJDK 8 Gradle 7.6.3 PostgreSQL 15 新建项目 项目配置 修改 settings.gradle.kts 文件 修改 settings.gradle.tks 文件支持多模块 ......
06 AXI4总线axi-stream
软件版本：vitis2021.1(vivado2021.1) 操作系统：WIN10 64bit 硬件平台：适用XILINX A7/K7/Z7/ZU/KU系列FPGA 登录"米联客"FPGA社区-www.uisrc.com视频课程、答疑解惑！ 1概述 AXI4-Stream去掉了地址，允许无限制的数据 ......
下载文件报错：java.io.IOException: UT010029: Stream is closed
在项目中使用EasyExcel导出excel然后压缩成压缩包下载，下载也是能正常下载就是会抛出这个错误 虽然说这个错误不影响下载功能，搞不好就因为这个错误某天系统崩溃，那时候就不是这么好玩了，于是我在百度上疯狂查找 有的说是流没有关，要在finally 里面把流关了 关了之后，满怀期待的重新运行，然 ......
7.Kafka，构建TB级异步消息系统
1.阻塞队列 BlockingQueue 解决线程通信的问题。 阻塞方法：put、take。 生产者消费者模式 生产者：产生数据的线程。 消费者：使用数据的线程。 实现类 ArrayBlockingQueue LinkedBlockingQueue PriorityBlockingQueue、Syn ......
fetch 请求 stream 流接口并使用 AbortController 中断结果响应
1. 使用fetch请求stream流接口： 封装fetch工具方法 fetchRequest.js const fetchStream = async (url, options) => { const response = await fetch(url, options); if (respo ......
debezium+kafka实现mysql数据同步（debezium-connector-mysql）
1.情景展示 在企业当中，往往会存在不同数据库之间的表的数据需要保持一致的情况（数据同步）。 如何将A库a表的数据同步至B库a表当中呢？（包含：新增、修改和删除） 往往不仅仅需要保持数据的一致性，还要保证数据的即时性，即：A库a表的数据发生变化后，B库a表也能立刻同步变化。 实时保持两表数据的一致性 ......
Kafka-基本介绍和常见问题
1、kafka 1.1、kafka介绍 kafka是最初由linkedin公司开发的，使用scala语言编写，kafka是一个分布式，分区的，多副本的，多订阅者的消息队列系统。 1.2、kafka相比其他消息队列的优势 常见的消息队列：RabbitMQ，Redis ，zeroMQ ，Active ......
kafka消费中文显示为乱码
1.情景展示 如上图所示，在windows操作系统当中，当我使用消费主题的命令进行数据消费时，存在kafka当中的消息含有的中文，最终展示为乱码。 kafka-console-consumer.bat --bootstrap-server localhost:9092 --topic topic-x ......
springcloud动力节点-02Ribbon
Spring Cloud Ribbon 1.Ribbon 概述 Spring Cloud Ribbon 是一个基于 HTTP 和 TCP 的客户端负载均衡工具，它基于 NetflixRibbon 实现。通过 Spring Cloud 的封装，可以让我们轻松地将面向服务的 REST 模版请求自动转换成 ......
springcloud动力节点-01Eureka
Spring Cloud Eureka 1.Spring Cloud Eureka 简介 注册发现中心 Eureka 来源于古希腊词汇，意为“发现了”。在软件领域， Eureka 是 Netflix 在线影片 公司开源的一个服务注册与发现的组件，和其他 Netflix 公司的服务组件（例如负载均衡、 ......
springcloud动力节点-03OpenFeign
Spring Cloud OpenFeign 1.说在前面 上 一 节 我 们 讲 到 Ribbon 做 了 负 载 均 衡 ， 用 Eureka-Client 来 做 服 务 发 现 ， 通 过RestTemplate 来完成服务调用，但是这都不是我们的终极方案，终极方案是使用 OpenFeign ......
springcloud动力节点-04Hystrix
Spring Cloud Hystrix 1.前言 1.1 什么是服务雪崩 服务雪崩的本质：线程没有及时回收。 不管是调用成功还是失败，只要线程可以及时回收，就可以解决服务雪崩 1.2 服务雪崩怎么解决 1.2.1 修改调用的超时时长（不推荐） 将服务间的调用超时时长改小，这样就可以让线程及时回收， ......
springcloud动力节点-05Sleuth
Spring Cloud Sleuth 1.什么是链路追踪 官网：https://spring.io/projects/spring-cloud-sleuth 链路追踪就是：追踪微服务的调用路径 2.链路追踪的由来 在微服务框架中，一个由客户端发起的请求在后端系统中会经过多个不同的服务节点调用来协同 ......
springcloud动力节点-06Admin监控 Or Gateway网关
Spring Cloud Admin 监控端点 新建工程：admin-serverpom中springcloud版本号和版本控制要添加 <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM ......
微服务框架 SpringCloud微服务架构3
微服务框架 SpringCloud微服务架构 3 Eureka 3.1 提供者与消费者 3.1.1 一些概念 服务提供者：一次业务中，被其它微服务调用的服务。（提供接口给其它微服务） 服务消费者：一次业务中，调用其它微服务的服务。（调用其它微服务提供的接口） 在我们的Demo案例中 很明显两者是如下 ......
kafka下载、安装与部署
1.kafka简介 kafka官网地址：https://kafka.apache.org/ kafka的本质 是一个数据存储平台，流平台 ， 只是他在做消息发布，消息消费的时候我们可以把他当做消息中间件来用。 Kafka提供了一个Kafka Broker、一个Kafka Producer和一个Kaf ......
kafka-Kafka3.4版本创建topic出现zookeeper is not a recognized option
问题描述：在linux云服务器上搭建了一套kafka3.0集群，然后按照以前的创建topic指令： ./kafka-topics.sh --zookeeper hadoop01:2181,hadoop02:2181,hadoop03:2181 --replication-factor 1 --par ......
如何封装一个通用的kafka消息中间件模块？
在微服务中, 服务和服务之间往往通过消息中间件来进行业务交流。如果每个服务都需要自己再去编写一套消费业务消息或者发送业务消息的代码，每个模块都会出现许多重复的代码，所以可以把和kafka相关的代码，集成到一个基础模块之中，去形成整洁的代码架构。 下面的图片是一个模块划分示例。 为什么进行精细化的模块 ......
Java Stream（流）基本使用
JAVA 8 API添加了一个新的抽象称为流Stream，将要处理的元素集合看作一种流， 流在管道中传输，能够对每个元素进行一系列并行或串行的流水线操作。 数据源可以是集合，数组，I/O channel， 产生器generato… 数据源如：List<T> 的集合转换为 Stream<T> 类型的流 ......
day23 SpringCloud应用改造实践 (8.3.1-8.4.1)
8.3-1-SpringCloud应用改造实践上 一、使用SkyWalking Agent Java中使用agent，提供以下三种方式实现 使用官方提供的基础镜像skywalking-base 将agent 包构建到已经存在的基础镜像中 sidecar模式挂载agent （推荐） 1.1 使用官方提 ......
log4j：ERROR Failed to rename（kafka）
一、问题 在Windows 10上运行kafka (版本：kafka_2.12-3.3.1)，出现log4j包对于文件重命名问题出错，如下图： 配置文档 修改的文档包括：zookeeper.properties 、 server.properties 、 log4j.properties 和 kaf ......
kafka常用命令
Windows 1.启动zookeeper，kafka高版本已经集成 zookeeper bin\windows\zookeeper-server-start.bat config\zookeeper.properties 2.启动kafka服务器 bin\windows\kafka-serve ......
Kafka-分布式安装
一、kafka是什么？ Kafka是一个快速、可扩展的、高吞吐、可容错的分布式发布订阅消息系统。Kafka具有高吞吐量、内置分区、支持数据副本和容错的特性，它可以处理消费者规模的网站中的所有动作流数据，具有高性能、持久化、多副本备份、横向扩展能力，适合在大规模消息处理场景中使用。 (1) 分布式系统 ......