一致性 缓存 方案 数据
数据统计与可视化复习总结（二）：非参数检验、生存分析
数据统计与可视化课程总结（一）：大数定理与数理统计 - 孤飞 - 博客园 (cnblogs.com) 前面所介绍的各种检验法，是在总体分布类型已知的情况下，对其中的未知参数进行检验统称为参数检验. 在实际问题中，有时我们并不能确切预知总体服从何种分布，这时就需要根据来自总体的样本对总体分布进行推断， ......
【JVM故障问题排查心得】「内存诊断系列」JVM内存与Kubernetes中pod的内存、容器的内存不一致所引发的OOMKilled问题总结（上）
在我们日常的工作当中，通常应用都会采用Kubernetes进行容器化部署，但是总是会出现一些问题，例如，JVM堆小于Docker容器中设置的内存大小和Kubernetes的内存大小，但是还是会被OOMKilled。在此我们介绍一下K8s的OOMKilled的Exit Code编码。 ......
【JVM故障问题排查心得】「内存诊断系列」JVM内存与Kubernetes中pod的内存、容器的内存不一致所引发的OOMKilled问题总结（下）
之前文章根据《【JVM故障问题排查心得】「内存诊断系列」JVM内存与Kubernetes中pod的内存、容器的内存不一致所引发的OOMKilled问题总结（上）》我们知道了如何进行设置和控制对应的堆内存和容器内存的之间的关系，所以防止JVM的堆内存超过了容器内存，导致容器出现OOMKilled的情况... ......
Go1.20 新版覆盖率方案解读
玩过Go覆盖率的同学当有所了解，Go的覆盖率方案最初的设计目标仅是针对单测场景，导致其局限性很大。而为了适配更多的场景，行业内各种博客、插件、黑科技介绍也层出不穷。当然，过去我们也开源过Go系统测试覆盖率收集利器 - goc，算其中比较完善，比较系统的了。且从用户使用角度来看，goc也确实解决了行业 ......
基于jenkins+kubernetes的cicd流程实践一：环境搭建及方案原理
1.基础环境：Centos7.9，kubernetes:v1.21.5 node-1@112（master）：docker，containerd，harbornginx（80），git，etcd node-2@109（master/worker）：docker，containerd，ingress_ ......
Zookeeper的服务器的log4j升级为log4j2的升级方案（忽略配置化兼容问题）
目前希望可以升级将Zookeeper中log4j的版本升级到log4j2版本，并且要避开相关的log4j2的安全隐患问题，此时需要考虑的就是针对于如何将无缝衔接log4j2的版本jar包的安装呢？我们接下来观察一下看看问题所在。目前我采用的环境是windows环境，不过也同样对其他操作系统有效，毕竟... ......
大数据下一代变革之必研究数据湖技术Hudi原理实战双管齐下-中
本篇详细描述hoodie数据读写流程，进一步加深对数据湖技术的理解。理论后转战集成Spark的使用，通过spark-shell和spark-sql实现hoodie的插入数据、查询数据、更新数据、删除数据、覆盖数据、时间旅行查询等示例，了解创建表、修改表结构、查询分区、删除分区基本用法，为进一步使用奠... ......
大数据下一代变革之必研究数据湖技术Hudi原理实战双管齐下-下
本篇演示了Hudi集成Spark的Scala编程示例，并一步步操作说明如何使用DeltaStreamer从Kafka里读取数据写入到Hudi表的HDFS中，接着集成Flink的环境准备，通过基于yarn-session的Flink的sql-client方式提交任务实现插入数据和流式读取数据，了解字节... ......
大数据下一代变革之必研究数据湖技术Hudi原理实战双管齐下-后续
本篇实战Hudi集成Flink SQl编程示例实现从生成器表写入Hudi表，打包集群验证；然后通过Hudi Flink CDC实现采集MySQL binlog日志写入Kafka再入到hudi表的完整示例，了解Hudi Flink的基础调试只是，最后通过Hudi集成Hive实现Flink Hive C... ......
MySQL数据库：6、约束的概述及语法
Python基础之MySQL数据库 一、约束概述 1、为什么要约束 为了防止数据库中存在不符合语义规定的数据和防止错误信息的输入、输出造成无效的操作而提出的 为了保证数据的完整性，SQL规范以约束的方式对表数据进行额外的条件限制，从以下四个方面考虑 实体完整性：例如一个表中不能存在两条相同的 ......
MySQL数据库：7、SQL常用查询语句
Python基础之MySQL数据库 一、SQL语句常用查询方法 前期数据准备 为了更加直观的展示、演示SQL语句查询关键字，需导入下列表格与记录（数据） 模拟公司，导入创建公司员工表，表内包含：ID、姓名、年龄、工作时间、岗位 创建人员表格: create table emp( id int ......
label studio 结合 MMDetection 实现数据集自动标记、模型迭代训练的闭环
一个 AI 方向的朋友因为标数据集发了篇 SCI 论文，看着他标了两个多月的数据集这么辛苦，就想着人工智能都能站在围棋巅峰了，难道不能动动小手为自己标数据吗？查了一下还真有一些能够满足此需求的框架，比如 [cvat]、 [doccano] 、 [label studio]等，经过简单的对比后发现还... ......
MySQL数据库：2、MySQL的下载与安装、基本使用、系统服务制作
一、MySQL简介 MySQL是一种关系型数据库管理系统，关系数据库将数据保存在不同的表中，而不是将所有数据放在一个大仓库内，这样就增加了速度并提高了灵活性。 二、安装与下载 1、下载流程 1、访问官方（www.mysql.com） 2、点击‘DOWNLOADS’，进入下载界面 3、下拉，找到‘ ......
[Kogel.Subscribe.Mssql]SQL Server增量订阅，数据库变更监听
此框架是SQL Server增量订阅，用来监听增删改数据库数据变更 目前仅支持SQL Server，后续会支持MySQL和Oracle，Nuget上可以下载安装 或者使用Nuget命令添加包 dotnet add package Kogel.Subscribe.Mssql --version 0.0 ......
数据库和缓存的一致性如何保证
最近帮组里做讲座预约系统，虽然使用人数不多，但终于还是遇到了一些系统经典问题，比如数据库与缓存的一致性问题，很有意思，好记性不如烂笔头，学习了一些思路以后决定记录下来与大家分享。 什么是数据库与缓存的一致性问题 程序员应该没人不懂这个，但我还是觉得应该写上，有头有尾。所谓数据库与缓存的一致性问题，可 ......
Springboot 整合 SpringCache 使用 Redis 作为缓存
一直以来对缓存都是一知半解，从没有正经的接触并使用一次，今天腾出时间研究一下缓存技术，开发环境为OpenJDK17与SpringBoot2.7.5 源代码下载地址：https://hanzhe.lanzoue.com/iK4AF0hjl3lc SpringCache基础概念 接口介绍 首先看看Spr ......
.NET 6 基于IDistributedCache实现Redis与MemoryCache的缓存帮助类
本文通过IDistributedCache的接口方法，实现Redis与MemoryCache统一帮助类。只需要在配置文件中简单的配置一下，就可以实现Redis与MemoryCache的切换。 (目录) IDistributedCache IDistributedCache 方法： |方法|说明 | ......
NLP手札1. 金融信息负面及主体判定方案梳理&代码实现
这个系列会针对NLP比赛，经典问题的解决方案进行梳理并给出代码复现~算是找个理由把代码从TF搬运到torch。Chapter1是CCF BDC2019的赛题：金融信息负面及主体判定，属于实体关联的情感分类任务，相关代码实现以及Top方案梳理详见ClassisSolution/fin_new_enti... ......
Spring Boot 多数据源配置
第一种方式： AbstractRoutingDataSource 1.1. 手动切换数据源 application.properties # Order # 如果用Druid作为数据源，应该用url属性，而不是jdbc-url spring.datasource.order.jdbc-url=jdb ......
java并发数据结构之CopyOnWriteArrayList
CopyOnWriteArrayList是一个线程安全的List实现，其在对对象进行读操作时，由于对象没有发生改变，因此不需要加锁，反之在对象进行增删等修改操作时，它会先复制一个对象副本，然后对副本进行修改，最后将修改后的副本对象写回，从而保证操作的线程安全,下面我们看一下具体的代码实现。 构造函数 ......
京东零售大数据云原生平台化实践
导读： 今天为大家介绍京东零售大数据的云原生平台化实践，主要包括以下几大方面内容： 云原生的定义和理解 云原生相关技术的演化 京东大数据在云原生平台化上的实践 云原生应用平台的发展 分享嘉宾：刘仲伟 京东 架构师 编辑整理：张明宇 广州某银行 出品社区：DataFun 01/云原生的定义和理解 1. ......
Opengl ES之YUV数据渲染
YUV回顾 记得在音视频基础知识介绍中，笔者专门介绍过YUV的相关知识，可以参考： 《音视频基础知识-YUV图像》 YUV数据量相比RGB较小，因此YUV适用于传输，但是YUV图不能直接用于显示，需要转换为RGB格式才能显示，因而YUV数据渲染实际上就是使用Opengl ES将YUV数据转换程RGB ......
Spring Boot 配置多数据源
Spring Boot 配置多数据源 作者：Grey 原文地址： 博客园：Spring Boot 配置多数据源 CSDN：Spring Boot 配置多数据源 说明 本文主要介绍了 Spring Boot 下如何配置多数据源。 环境和版本 Java 版本：17 Spring Boot 版本：3.0. ......
.NET 6 实现滑动验证码（二）、基本数据
上一节，介绍了滑动验证码的基本情况，也创建了一个.NET 6的工程。本节内容是创建一些基础类。 (创建基础类) 本节创建的类全部在工程的Model目录下： CaptchaData.cs CaptchaData.cs：验证码的数据类实体 namespace SlideCaptcha.Model { p ......
Flink同步Kafka数据到ClickHouse分布式表
公众号文章都在个人博客网站：https://www.ikeguang.com/ 同步，欢迎访问。 业务需要一种OLAP引擎，可以做到实时写入存储和查询计算功能，提供高效、稳健的实时数据服务，最终决定ClickHouse。 什么是ClickHouse？ ClickHouse是一个用于联机分析(OLAP ......
.NET性能优化-使用内存+磁盘混合缓存
我们回顾一下上一篇文章中的内容，有一个朋友问我这样一个问题： 我的业务依赖一些数据，因为数据库访问慢，我把它放在Redis里面，不过还是太慢了，有什么其它的方案吗？ 其实这个问题比较简单的是吧？Redis其实属于网络存储，我对照下面的这个表格，可以很容易的得出结论，既然网络存储的速度慢，那我们就可以 ......
高并发下丢失更新的解决方案
作者：谢益培 1 背景 关键词：并发、丢失更新 预收款账户表上有个累计抵扣金额的字段，该字段的含义是统计商家预收款账户上累计用于抵扣结算成功的金额数。更新时机是，账单结算完成时，更新累计抵扣金额=累计抵扣金额+账单金额。 2 问题及现象 发现当账单结算完成时，偶尔会发生累计抵扣金额字段值更新不准确的 ......
KVC原理与数据筛选
作者：宋宏帅 1 前言 在技术论坛中看到一则很有意思的KVC案例： @interface Person : NSObject @property (nonatomic, copy) NSString *name; @property (nonatomic, assign) NSInteger age ......