实战 模式 数据redis
天坑，这样一个lambda随机取数据也有Bug
前几天，一位网友跟我说他编写的一段很简单的代码遇到了奇怪的Bug，他要达到的效果是从一个List中随机取出来一条数据，代码如下： 1 var random = new Random(); 2 var users = Enumerable.Range(0, 10).Select(p => new Us ......
vue 中使用 this 更新数据的一次大坑
情景说明： 之前用 vue 做数据绑定更新时，发现一个莫名奇妙的问题。 我在 vue 实例中声明了一个数组属性如 books: []，在异步请求的回调函数中使用 this.books = res.data.data; 进行数据更新，更新步骤后面紧跟着打印了 console.log(this.book ......
Entity Framework Core 7中高效地进行批量数据插入
因为之前的版本中，EF Core无法实现高效地批量插入、修改、删除数据，所以我开发了Zack.EFCore.Batch这个开源项目，比较受大家的欢迎，获得了400多个star。 从.NET 7开始，微软在Entity Framework Core 7内置了对高效地批量修改、删除数据的支持，详细请见这 ......
数据统计与可视化复习总结（二）：非参数检验、生存分析
数据统计与可视化课程总结（一）：大数定理与数理统计 - 孤飞 - 博客园 (cnblogs.com) 前面所介绍的各种检验法，是在总体分布类型已知的情况下，对其中的未知参数进行检验统称为参数检验. 在实际问题中，有时我们并不能确切预知总体服从何种分布，这时就需要根据来自总体的样本对总体分布进行推断， ......
面试官：介绍一下 Redis 三种集群模式
小码今天去面试。 面试官：给我介绍一下Redis集群， 小码：啊，平时开发用的都是单机Redis，没怎么用过集群了。 面试官：好的，出门右转不谢。 小码内心困惑：在小公司业务量也不大，单机的 Redis 完全够用，也不会发生宕机问题啊。面试要问到 Redis 集群该怎么办呢？ Redis 为何要有集 ......
大数据下一代变革之必研究数据湖技术Hudi原理实战双管齐下-中
本篇详细描述hoodie数据读写流程，进一步加深对数据湖技术的理解。理论后转战集成Spark的使用，通过spark-shell和spark-sql实现hoodie的插入数据、查询数据、更新数据、删除数据、覆盖数据、时间旅行查询等示例，了解创建表、修改表结构、查询分区、删除分区基本用法，为进一步使用奠... ......
大数据下一代变革之必研究数据湖技术Hudi原理实战双管齐下-下
本篇演示了Hudi集成Spark的Scala编程示例，并一步步操作说明如何使用DeltaStreamer从Kafka里读取数据写入到Hudi表的HDFS中，接着集成Flink的环境准备，通过基于yarn-session的Flink的sql-client方式提交任务实现插入数据和流式读取数据，了解字节... ......
大数据下一代变革之必研究数据湖技术Hudi原理实战双管齐下-后续
本篇实战Hudi集成Flink SQl编程示例实现从生成器表写入Hudi表，打包集群验证；然后通过Hudi Flink CDC实现采集MySQL binlog日志写入Kafka再入到hudi表的完整示例，了解Hudi Flink的基础调试只是，最后通过Hudi集成Hive实现Flink Hive C... ......
[设计模式] 装饰器模式
一、装饰器模式 在软件开发过程中，由于需求的改动，可能面临对某个或某些对象新增一些新的功能的需求。根据开闭原则，新增功能我们也不能直接去修改 原有的类，而如果使用继承的方式去实现，可能出现“子类爆炸”的问题，这个时候就可以使用到 装饰器模式。 装饰器模式：允许向一个现有的对象添加新的功能，同时又不改 ......
深入浅出学习透析 Nginx 服务器的基本原理和配置指南「运维操作实战篇」
Nginx 安装非常的简单，且Nginx 启动特别容易，并且几乎可以做到24小时不间断运行，即使运行数个月也不需要重新启动。你还能够在不间断服务的情况下进行软件版本的升级。接下来我们要针对于安装和运维操作进行实战和分析。 ......
详解 Redis 中 big keys 发现和解决
在使用 Redis 时，可能会出现请求响应慢、网络卡顿、数据丢失的情况。排查问题的时候，发现是 big keys 的问题。 什么是 big keys 在 Redis 中，一个字符串类型最大可以达到 512MB,其他非字符串类型的集合类型（list、set、hash、zset等）可以存储 40 亿个( ......
知道策略模式！但不会在项目里使用？
前言 在学开发的第二年就开始听说要想代码写得好，一定要会设计模式。于是就兴致冲冲的啃了《Head First 设计模式》，看完之后对于策略模式映像很深刻，觉得这个模式好，易上手，应用广，我又能优化一波代码了(装波逼了)，于是兴致冲冲的打开了我的 IDEA，开整！！！ 策略模式初体验（错误示范） 在讲 ......
医疗在线OLAP场景下基于Apache Hudi 模式演变的改造与应用
背景 在 Apache Hudi支持完整的Schema演变的方案中（https://mp.weixin.qq.com/s/rSW864o2YEbHw6oQ4Lsq0Q）， 读取方面，只完成了SQL on Spark的支持（Spark3以上，用于离线分析场景），Presto（用于在线OLAP场景）及A ......
Selenium4+Python3系列（十） - Page Object设计模式
前言 Page Object（PO）模式，是Selenium实战中最为流行，并且被自动化测试同学所熟悉和推崇的一种设计模式之一。在设计测试时，把页面元素定位和元素操作方法按照页面抽象出来，分离成一定的对象，然后再进行组织。 相信每个做自动化测试的同学，一定会遇到这样一个非常头疼的问题，那就是页面变化 ......
Selenium4+Python3系列（十一） - Page Factory设计模式
写在前面： Page Object模式，目的是将元素定位和元素操作分层，只接触测试内容，不写基础内容，便于后续对自动化测试用例体系的维护，这是中心思想，也是核心。 那么我们继续将简洁延续，这里沿用Java的Page Factory模式思想，旨在减少代码冗余，简单易用，具有高度的可扩展能力。 所以，这 ......
MySQL数据库：6、约束的概述及语法
Python基础之MySQL数据库 一、约束概述 1、为什么要约束 为了防止数据库中存在不符合语义规定的数据和防止错误信息的输入、输出造成无效的操作而提出的 为了保证数据的完整性，SQL规范以约束的方式对表数据进行额外的条件限制，从以下四个方面考虑 实体完整性：例如一个表中不能存在两条相同的 ......
MySQL数据库：7、SQL常用查询语句
Python基础之MySQL数据库 一、SQL语句常用查询方法 前期数据准备 为了更加直观的展示、演示SQL语句查询关键字，需导入下列表格与记录（数据） 模拟公司，导入创建公司员工表，表内包含：ID、姓名、年龄、工作时间、岗位 创建人员表格: create table emp( id int ......
label studio 结合 MMDetection 实现数据集自动标记、模型迭代训练的闭环
一个 AI 方向的朋友因为标数据集发了篇 SCI 论文，看着他标了两个多月的数据集这么辛苦，就想着人工智能都能站在围棋巅峰了，难道不能动动小手为自己标数据吗？查了一下还真有一些能够满足此需求的框架，比如 [cvat]、 [doccano] 、 [label studio]等，经过简单的对比后发现还... ......
MySQL数据库：2、MySQL的下载与安装、基本使用、系统服务制作
一、MySQL简介 MySQL是一种关系型数据库管理系统，关系数据库将数据保存在不同的表中，而不是将所有数据放在一个大仓库内，这样就增加了速度并提高了灵活性。 二、安装与下载 1、下载流程 1、访问官方（www.mysql.com） 2、点击‘DOWNLOADS’，进入下载界面 3、下拉，找到‘ ......
[Kogel.Subscribe.Mssql]SQL Server增量订阅，数据库变更监听
此框架是SQL Server增量订阅，用来监听增删改数据库数据变更 目前仅支持SQL Server，后续会支持MySQL和Oracle，Nuget上可以下载安装 或者使用Nuget命令添加包 dotnet add package Kogel.Subscribe.Mssql --version 0.0 ......
软件设计模式白话文系列（十四）策略模式
1、模式描述 定义一个算法的系列，将其各个分装，并且使他们有交互性。策略模式使得算法在用户使用的时候能独立的改变。 在 Java 中，从 JDK1.8 开始支持函数式编程，就是策略模式的一种体现，且无需借助额外的类和接口，代码更加简洁。 2、模式结构 抽象策略类：定义策略算法的规范。 具体策略类：实 ......
redis的持久化
redis是一种基于内存的非关系型数据库，内存虽然快但是数据也更易丢失，所以redis提供了两种持久化方式，分别是RDB和AOF，今天就介绍下这两种持久化方式以及原理 一、RDB 1、介绍 rdb是一种快照式的存储也是redis默认的持久化策略，它将内存中的数据持久化到磁盘中且能做到不影响redis ......
有来实验室|第一篇：Seata1.5.2版本部署和开源商城订单支付业务实战
有来实验室结合正式的商城订单支付业务场景将 Seata 分布式事务可视化，通过现象去看本质(原理和源码)，告别被动式输入的短期记忆学习。 ......
Springboot 整合 SpringCache 使用 Redis 作为缓存
一直以来对缓存都是一知半解，从没有正经的接触并使用一次，今天腾出时间研究一下缓存技术，开发环境为OpenJDK17与SpringBoot2.7.5 源代码下载地址：https://hanzhe.lanzoue.com/iK4AF0hjl3lc SpringCache基础概念 接口介绍 首先看看Spr ......
redis集群之主从复制集群的原理和部署
最近在复盘redis的知识，所以本文开始希望介绍下redis的集群架构、原理以及部署；本文主要介绍redis的主从复制集群，包括其架构模型，原理，高可用等； 一、主从集群的介绍 redis的主从复制集群为了提高效率降低客户端等待时长，主从间的数据同步采用的是弱一致性的策略，即客户端请求发到主机后，不 ......
聊一聊装饰者模式
装饰者模式（Decorator Pattern）允许向一个现有的对象扩展新的功能，同时不改变其结构。主要解决直接继承下因功能的不断横向扩展导致子类膨胀的问题，无需考虑子类的维护。 ......
【性能优化】单一接口优化过程全记录（主要涉及Redis）
接口优化过程记录 问题背景 某个接口耗时长（247ms），但里面逻辑不算复杂，只进行了简单的对象引用以及操作了多次Redis 步骤1：链路追踪，确定业务耗时点 接口里通过链路追踪以及日志查询发现主要是操作Redis的这条链路耗时变长 步骤2：从Redis找问题，列出可能点 原因可能是： Redis本 ......
redis集群之分片集群的原理和常用代理环境部署
上篇文章刚刚介绍完redis的主从复制集群，但主从复制集群主要是为了解决redis集群的单点故障问题，通过整合哨兵能实现集群的高可用；但是却无法解决数据容量以及单节点的压力问题，所以本文继续介绍redis的分片集群；分片集群即将不同的数据分发到不同的redis实例(或者主从集群)，每个redis实例 ......
深入浅出Seata的AT模式
在Seata的AT模式中，在服务执行完成后，直接进行RM提交和资源释放，提供了对CAP理论相对平衡的解决方案，并且没有侵入业务工程； ......
.NET 6 基于IDistributedCache实现Redis与MemoryCache的缓存帮助类
本文通过IDistributedCache的接口方法，实现Redis与MemoryCache统一帮助类。只需要在配置文件中简单的配置一下，就可以实现Redis与MemoryCache的切换。 (目录) IDistributedCache IDistributedCache 方法： |方法|说明 | ......