手动spring offset kafka
Spring的ApplicationContext核心分析
跟着孙哥学Spring，b站：https://www.bilibili.com/video/BV185411477k/?spm_id_from=333.337.search-card.all.click 1.AnnotationConfigApplicationContext执行过程 public ......
云消息队列 Kafka 版生态谈第一期：无代码转储能力介绍
为了提升研发效率，云消息队列 Kafka 版联合阿里云产品支持到无代码、全托管、Serverless 化的功能特性，支持从云消息队列 Kafka 版到 OSS 的转储。 ......
Kafka高级应用：如何配置处理MQ百万级消息队列？
在大数据时代，Apache Kafka作为一款高性能的分布式消息队列系统，广泛应用于处理大规模数据流。本文将深入探讨在Kafka环境中处理百万级消息队列的高级应用技巧。 本文，已收录于，我的技术网站 ddkk.com，有大厂完整面经，工作技术，架构师成长之路，等经验分享 1、合理配置分区 // 自定 ......
Kafka消费端抛出异常Offset commit cannot be completed since the consumer is not part of an active group for auto partition assignment; it is likely that the consumer was kicked out of the group的解决方案
总结/朱季谦 在一次测试Kafka通过consumer.subscribe()指定偏移量Offset消费过程中，因为设置参数不当，出现了一个异常提示—— [2024-01-04 16:06:32.552][ERROR][main][org.apache.kafka.clients.consumer. ......
Spring Boot 整合 Mybatis
1、导入依赖 <!-- MySQL 驱动 --> <dependency> <groupId>com.mysql</groupId> <artifactId>mysql-connector-j</artifactId> <version>8.1.0</version> </dependency> < ......
Spring 中 @Bean 注解用法大全，建议收藏！
存储Bean对象 将对象存储在 Spring 中，有两种注解类型可以实现： 类注解：@Controller、@Service、@Repository、@Component、@Configuration 方法注解：@Bean @Controller(控制器存储) Spring Boot 基础就不介绍了 ......
Spring 应用合并之路（一）：摸石头过河 | 京东云技术团队
公司在推进降本增效，在尝多种手段之后，发现应用太多，每个应用都做跨机房容灾部署，则最少需要 4 台机器（称为容器更合适）。那么，将相近应用做一个合并，减少维护项目，提高机器利用率就是一个可选方案。 经过前后三次不同的折腾，最后探索出来一个可行方案。记录一下，分享出来，希望对有相关需求的研发童鞋有所帮 ......
Spring的xml文件中import标签的作用
import将其它Spring的xml文件内容导入到该Spring的xml文件中 <?xml version="1.0" encoding="UTF-8"?> <beans xmlns="http://www.springframework.org/schema/beans" xmlns:xsi=" ......
debezium+kafka实现oracle数据同步（debezium-connector-oracle）
1.情景展示 在企业当中，往往会存在不同数据库之间的表的数据需要保持一致的情况（数据同步）。 如何将A库a表的数据同步至B库a表当中呢？（包含：新增、修改和删除） 往往不仅仅需要保持数据的一致性，还要保证数据的即时性，即：A库a表的数据发生变化后，B库a表也能立刻同步变化。 实时保持两表数据的一致性 ......
Spring 七种事务传播性介绍
本文主要介绍了Spring事务传播性的相关知识。在Spring环境中，含有事务的方法嵌套调用，事务是如何传递的规则，以及每种规则是如何开展工作的。文章还提到每种事务传播性是如何使用的，方便读者依据实际的场景，使用不同的事务规则。 ......
kafka3.6单点部署使用
一、kafka基本概念 kafka是一个分布式的，分区的消息(官方称之为commit log)服务。它提供一个消息系统应该具备的功能，但是确有着独特的设计。可以这样来说，Kafka借鉴了JMS规范的思想，但是并没有完全遵循JMS规范。 名称 解释 Broker 消息中间件处理节点，一个Kafka节点 ......
使用spring cloud gateway 转发文件上传请求时，直接内存oom异常
重写 AdaptCachedBodyGlobalFilter 直接在项目中建立一个包名和文件名一样的类,实现覆盖的效果，目前官方的类还不支持拓展 /* * Copyright 2013-2020 the original author or authors. * * Licensed under t ......
学习Spring Boot 注解，这一篇就够了（附带部分注解实例讲解）
大纲 一、web mvc开发时，对于三层的类注解 1.1 @Controller 1.2 @Service 1.3 @Reponsitory 1.4 @component 二、依赖注入的注解 2.1@Autowired 2.2 @Resource 2.3 @Resource、@Autowired的区 ......
Spring学习记录之Bean的循环依赖
Spring学习记录之Bean的循环依赖 前言 这篇文章是我第二次学习b站老杜的spring相关课程所进行的学习记录，算是对课程内容及笔记的二次整理，以自己的理解方式进行二次记录，其中理解可能存在错误，欢迎且接受各位大佬们的批评指正； 关于本笔记，只是我对于相关知识遗忘时快速查阅了解使用，至于课程中 ......
java spring boot 的web项目中，url忽略大小写
默认情况下，请求的url必须跟我们配置的url大小写一致。 但是通过下面的方式，就可以忽略，大小写均可，使用起来更灵活。 要使 Spring Boot 的 Web API 项目忽略 URL 的大小写，你可以通过自定义配置来实现。以下是一种常见的方法： 创建一个配置类，并在其中注册一个 WebMvcC ......
Spring AOP
Spring AOP当中的一些概念 什么是AOP Aspect Oriented Programming 面向切面编程，在传统的oop开发过程中，逻辑是自上而下的，譬如我们实现一个登录功能，浏览器发起http请求到controller，controller负责接受请求，封装参数、验证参数等等，继而把 ......
Flink CDC写入数据到kafka几种格式
Flink cdc写入kafka数据格式 主要记录flink cdc写入kafka几种常见的数据格式，其中包括upsert-kafka写入后正常的json格式，debezium-json格式以及changelog-json格式。 upsert-kafka 正常json数据格式 -- insert 操 ......
No spring.config.import property has been defined
15:29:57.356 [main] DEBUG org.springframework.boot.diagnostics.LoggingFailureAnalysisReporter - Application failed to start due to an exception org.sp ......
Kafka Connect用法
1.情景展示 传统的消息中间件，如果我们想要应用到自己的系统当中，就必须在框架里面进行集成。 也就是说，必须将连接消息中间件的代码（如：生产者和消费者）嵌入到我们的web系统中，这就是所谓的硬编码。 这种硬编码的方式，侵入性强，开发成本相对较高，它要求开发人员不仅要关注业务，还要兼顾技术实现。 这也 ......
Spring '24：不容错过的Salesforce Flow 10大新功能！
Flow帮助客户在系统中快速实现复杂业务流程的自动化，现如今每月提供1万亿次自动化，每月为客户节省1090亿小时。通过使用Einstein、GPT和Data Cloud为Flow提供支持，不仅提高了可用性，而且确保客户能够访问最先进的工具，以实现更高的工作效率。 Flow是整个Salesforce平 ......
Java Spring Boot 中集成文件上传和下载功能
在日常开发中，可能会遇到文件上传下载的需求，今天简单学习下，在项目开发中，如果遇到类似需求，该如何应对。 在 Spring Boot 项目中如果增加 文件上传下载 的功能，其实也挺简单，无非就是增加接口而已，但具体实现需要根据需求来定，通常我们的上传，可能会限制文件类型，限制文件大小，或者是限制文件 ......
Spring学习记录之Bean的生命周期
Spring学习记录之Bean的生命周期 前言 这篇文章是我第二次学习b站老杜的spring相关课程所进行的学习记录，算是对课程内容及笔记的二次整理，以自己的理解方式进行二次记录，其中理解可能存在错误，欢迎且接受各位大佬们的批评指正； 关于本笔记，只是我对于相关知识遗忘时快速查阅了解使用，至于课程中 ......
Spring的数据绑定功能
Spring框架提供了强大的数据绑定功能，可以将外部数据源（如HTTP请求参数、表单数据、属性文件等）自动绑定到Java对象中。 数据绑定是将外部数据与Java对象中的属性进行关联的过程，常见于Spring的Web开发。 @InitBinder的作用 @InitBinder从字面意思可以看出这个的作 ......
Spring Boot环境里批量删除匹配的key
在Spring Boot环境中使用org.springframework.data.redis.core.RedisTemplate删除匹配的key可以按照以下步骤实现。首先，您需要创建一个方法，该方法接受一个字符串参数，然后通过RedisTemplate查询所有匹配的key，并删除它们。 下面是一 ......
Spring解决循环引用
跟着孙哥学Spring，b站：https://www.bilibili.com/video/BV185411477k/?spm_id_from=333.337.search-card.all.click 要理解Spring是如何解决循环引用的，首先需要掌握Spring的三个关键Map对象： ● si ......
Python手动实现k-means
import numpy as np import matplotlib.pyplot as plt def kmeans(data, cluster_num, method='mean'): points = np.array(data) labels = [] random_idx = [] w ......
Spring MVC的三种异常处理方式
Spring MVC异常的处理流程 异常分为编译时异常和运行时异常，编译时异常我们 try-catch进行捕获，捕获后自行处理，而运行时异常是不 可预期的，就需要规范编码来避免，在SpringMVC 中，不管是编译异常还是运行时异常，都可以最终由 SpringMVC提供的异常处理器进行统一处理，这样 ......
Spring Boot学习随笔- 集成MyBatis-Plus（三）自定义SQL、分页实现（PaginationInterceptor ）、更新和删除详细方法
这篇文章涵盖了自定义SQL、分页、更新和删除等操作。在自定义SQL部分，提及了配置mapper文件的路径以及对应的XML配置文件示例，以及如何在测试中调用自定义的方法。分页部分介绍了MyBatis-Plus中的物理分页和内存分页的区别，以及如何配置分页插件和进行分页查询。更新方法详解部分演示了不同方... ......
【Kafka学习-3】Kafka命令
【Kafka学习-3】Kafka命令 Kafka的命令都是基于bin目录下的脚本来使用的。 Topic命令 Topic的命令脚本是kafka-topics.sh，常见命令参数说明： --bootstrap-server <String: server toconnet to> 连接的Kafka Br ......