introducing concepts kafka core
asp.net core项目集成OpenTelemetry输出到OpenObserve进行可观测性处理
一、安装OpenObserve和Otel-collector 使用docker-compose 安装 记得替换下USER_MAIL xxx@xx.com和PASSWORD xxx 这里解释下为啥要用named volume来映射openobserve的data目录，因为目前版本(0.7.2)在win ......
Kafka Connect用法
1.情景展示 传统的消息中间件，如果我们想要应用到自己的系统当中，就必须在框架里面进行集成。 也就是说，必须将连接消息中间件的代码（如：生产者和消费者）嵌入到我们的web系统中，这就是所谓的硬编码。 这种硬编码的方式，侵入性强，开发成本相对较高，它要求开发人员不仅要关注业务，还要兼顾技术实现。 这也 ......
Ef Core花里胡哨系列(8) 如何可控管理Ef Core的迁移？
Ef Core花里胡哨系列(8) 如何可控管理Ef Core的迁移？ 通常使用Ef Core迁移时，可能就是简单的使用命令dotnet-ef migrations add或者dotnet ef database update等等，基本都需要靠命令维护，非常的繁琐。特别是现在很多项目都是迭代型项目，很 ......
Ef Core花里胡哨系列(7) 使用Ef Core也能维护表架构？
Ef Core花里胡哨系列(7) 使用Ef Core也能维护表架构？ 我们这里指的并不是查询，而是利用Ef的迁移原理，生成可用的其它表架构操作的Sql。 例如你想在Ef Core里建表，并且可能程序里有多个provider，那么写Sql将是一件痛苦的事情，我们就是利用Ef Core迁移时的操作，来为 ......
【Kafka学习-3】Kafka命令
【Kafka学习-3】Kafka命令 Kafka的命令都是基于bin目录下的脚本来使用的。 Topic命令 Topic的命令脚本是kafka-topics.sh，常见命令参数说明： --bootstrap-server <String: server toconnet to> 连接的Kafka Br ......
Kafka干货之「零拷贝」
一、背景 周所周知，Kafka是一个非常成熟的消息产品，开源社区也已经经历了多年的不断迭代，特性列表更是能装下好几马车，比如：幂等消息、事务支持、多副本高可用、ACL、Auto Rebalance、HW、Leader Epoch、Time Index、Producer Snapshot、Stream ......
ASP.NET Core 鉴权授权三（添加自定义授权策略）
Program.cs #region 授权 builder.Services.AddAuthorization(option => { //添加自定义授权策略 option.AddPolicy("MyPolicy",p => p.RequireClaim(ClaimTypes.NameIdentif ......
图解Kafka Producer常用性能优化配置参数
1 基本参数 bootstrap.servers：Kafka broker服务器地址列表，,分开，可不必写全，Kafka内部有自动感知Kafka broker的机制 client.dns.lookup：客户端寻找bootstrap地址的方式，支持两种方式： resolve_canonical_boo ......
Ef Core花里胡哨系列(6) XML注释同步到数据库注释
Ef Core花里胡哨系列(6) XML注释同步到数据库注释 参考文档：C#读取注释的方法 准备读取Xml的工具类 可以根据[参考文档]获取一个简单读取注释的方法。 实现DbContext 我们通过重写OnModelCreating方法，在生成数据库表时，使用FluentApi指定对应表以及其属性的 ......
.Net Core 使用Magick.NET 将PDF文件转成图片
一、在使用前需要在电脑上安装ghostscript，对于ghostscript的详细介绍，可自行百度查看（https://ghostscript.com/）。以下是分享的百度云盘资源。链接：https://pan.baidu.com/s/1uKekX4iWCEDAsZWDsDMG0Q?pwd=9kk ......
ASP.NET Core 授权二（自定义token）
TokenAuthenticationHandler.cs 首先自定义一个类TokenAuthenticationHandler，然后需要继承IAuthenticationHandler接口 具体代码： public class TokenAuthenticationHandler : IAuthe ......
Ef Core花里胡哨系列(5) 动态修改追踪的实体、动态查询
Ef Core花里胡哨系列(5) 动态修改追踪的实体、动态查询 同样还是IModelCacheKeyFactory，不过这次要采用主动刷新的方式。 实现DbContext 动态实体，根据配置等生成动态类型来当作数据库实体使用，当配置修改时，可以调用DynamicModelCacheKeyFactor ......
Ef Core花里胡哨系列(4) 多租户
Ef Core花里胡哨系列(4) 多租户 当然，我们要考虑设计问题，例如，切换Schema或者改变数据库时，Ef Core同样也会刷新改实体的缓存，所以，首次查询将会很慢，不适合大表。 基于Schema实现多租户 在我的上一篇博客中 [Ef Core花里胡哨系列(3) 动态修改实体对应的表(分表)、 ......
Ef Core花里胡哨系列(2) 移除外键、扩展操作
Ef Core花里胡哨系列(2) 移除外键、扩展操作 虽然数据库的外键有着举足轻重的作用，但是在通常的软件设计中，很多人嫌弃麻烦，从而放弃了Ef Core的Codo-First模式而转向Db-First模式。但是Db-First不是很严谨，所以我这里就是提供一种相对折中的方式：在Code-Frist ......
Ef Core花里胡哨系列(3) 动态修改实体对应的表(分表)、多租户
Ef Core花里胡哨系列(3) 动态修改实体对应的表(分表)、多租户 Ef Core在加载的时候，会执行一次OnModelCreating用来加载所用到的实体。我们要做的就是刷新Ef Core上下文中之前缓存的内容。 分表 我们假如有一个程序，会每个月创建一个Table年月的表，我们要做的是每个月 ......
Ef Core花里胡哨系列(1) SafeDelete、ReadOnly、Audit 安全删除、只读、审计等
Ef Core花里胡哨系列(1) SafeDelete、ReadOnly、Audit 安全删除、只读、审计等 在软件设计中，软删除是一种常见的数据管理技术，用于标记和隐藏被删除的数据，而不是永久地从数据库中删除它们。软删除通常通过在数据表中添加一个额外的标志列（例如"IsDeleted"）来实现。当 ......
【ASP.NET Core】使用SignalR推送服务器日志
一个多月前接手了一个产线机器人项目，上位机以读写寄存器的方式控制机器人，服务器就是用 ASP.NET Core 写的 Web API。由于前一位开发者写的代码质量问题，导致上位机需要16秒才能启动。经过我近一个月的改造，除了保留业务逻辑代码，其他的基本重写。如今上位机的启动时间在网络状态良好的条件下 ......
ASP.NET Core 配置系列一
ASP.NET Core 配置主要通过这3个文件设置： 1 项目文件也叫.csproj 文件 2 Program.cs 3 appsettings.json 这些配置告诉ASP.NET Core 应用程序基于用户的交互是如何工作的，在本节中我们理解ASP.NET Core 项目配置文件，我们创建一下 ......
ASP.NET Core Razor融合JS库Demo
cshtml.cs using Microsoft.AspNetCore.Mvc; using Microsoft.AspNetCore.Mvc.RazorPages; namespace RazorTest.Pages { public class PrivacyModel : PageModel ......
快速上手 dbt 数据转换工具 -- dbt core 命令进阶篇
引 根据第一篇文章的约定，我想通过接下来的几篇文章带大家进一步了解 dbt 的用法，原计划这篇文章我会介绍 dbt 命令的进阶用法，进一步认识 dbt 的配置以及如何创建增量表等等零零散散十几个方面的知识点，结果在我写完命令部分发现篇幅就过长了，考虑到大家对于知识的吸收，想了想还是把命令单独作为一个 ......
ASP.NET Core （.NET 7） 中的速率限制中间件
ASP.NET Core 中的速率限制中间件可以用于限制特定资源在一段时间内允许的请求次数。速率限制可以用于保护服务器资源，防止拒绝服务 (DoS) 攻击。Microsoft.AspNetCore.RateLimiting 或 AspNetCoreRateLimit 中间件提供速率限制中间件。 ......
ASP.NET Core 之路由相关
ASP.NET Core中路由的过程：routing middleware把传入的url与一系列模板进行比对，选择相应的endpoint handler，并将其记录在HttpContext上的request上。endpoint middleware执行选择的endpoint hander，并返回re ......
Asp .Net Core 集成 FluentValidation 强类型验证规则库
目录入门程序安装案例：登录验证器内置验证器自定义验证器编写自定义验证器可重复使用的属性验证器本地化DI自动验证 官网：https://docs.fluentvalidation.net/en/latest/index.html 入门程序 安装 使用 Visual Studio 中的 NuGet 包管 ......
ASP.NET Core MiniAPI中 EndPoint相关
1.状态码返回之演化之路 1.1最基本的就是用Results或者TypedResults返回带有状态码的响应(可选Json响应体） app.MapGet("/fruit/{id}", (string id) => { if (_fruit.TryGetValue(id, out Fruit frui ......
.Net Core WebAPI 缓存
Asp.Net Core WebAPI 缓存 一、缓存 缓存指在中间层中存储数据的行为，该行为可使后续数据检索更快。 从概念上讲，缓存是一种性能优化策略和设计考虑因素。 缓存可以显著提高应用性能，方法是提高不常更改（或检索成本高）的数据的就绪性。 二、RFC9111 在最新的缓存控制规范文件RFC9 ......
ASP.NET Core 6(.NET 6) Program.cs中使用读取appsettings.json配置文件
在ASP.NET Core 6 (.NET 6)中，可以使用Json格式的appsettings.json配置文件来配置应用程序，用于存储应用程序的配置信息，方便我们灵活的配置应用程序。本文主要介绍Program.cs中，使用读取appsettings.json配置文件的方法，以及相关的示例代码 ......
7.Kafka，构建TB级异步消息系统
1.阻塞队列 BlockingQueue 解决线程通信的问题。 阻塞方法：put、take。 生产者消费者模式 生产者：产生数据的线程。 消费者：使用数据的线程。 实现类 ArrayBlockingQueue LinkedBlockingQueue PriorityBlockingQueue、Syn ......
debezium+kafka实现mysql数据同步（debezium-connector-mysql）
1.情景展示 在企业当中，往往会存在不同数据库之间的表的数据需要保持一致的情况（数据同步）。 如何将A库a表的数据同步至B库a表当中呢？（包含：新增、修改和删除） 往往不仅仅需要保持数据的一致性，还要保证数据的即时性，即：A库a表的数据发生变化后，B库a表也能立刻同步变化。 实时保持两表数据的一致性 ......
Kafka-基本介绍和常见问题
1、kafka 1.1、kafka介绍 kafka是最初由linkedin公司开发的，使用scala语言编写，kafka是一个分布式，分区的，多副本的，多订阅者的消息队列系统。 1.2、kafka相比其他消息队列的优势 常见的消息队列：RabbitMQ，Redis ，zeroMQ ，Active ......
如何在 EF Core 中使用乐观并发控制
什么是乐观并发控制？ 乐观并发控制是一种处理并发访问的数据的方法，它基于一种乐观的假设，即认为并发访问的数据冲突的概率很低。在乐观并发控制中，系统不会立即对并发访问的数据进行加锁，而是在数据被修改时，再检查是否有其他并发操作已经修改了数据。如果检测到冲突，系统 再采取相应的措施来解决冲突。 EF C ......