管理工具 功能 数据库 工具
[Kogel.Subscribe.Mssql]SQL Server增量订阅，数据库变更监听
此框架是SQL Server增量订阅，用来监听增删改数据库数据变更 目前仅支持SQL Server，后续会支持MySQL和Oracle，Nuget上可以下载安装 或者使用Nuget命令添加包 dotnet add package Kogel.Subscribe.Mssql --version 0.0 ......
大数据下一代变革之必研究数据湖技术Hudi原理实战双管齐下-中
本篇详细描述hoodie数据读写流程，进一步加深对数据湖技术的理解。理论后转战集成Spark的使用，通过spark-shell和spark-sql实现hoodie的插入数据、查询数据、更新数据、删除数据、覆盖数据、时间旅行查询等示例，了解创建表、修改表结构、查询分区、删除分区基本用法，为进一步使用奠... ......
大数据下一代变革之必研究数据湖技术Hudi原理实战双管齐下-下
本篇演示了Hudi集成Spark的Scala编程示例，并一步步操作说明如何使用DeltaStreamer从Kafka里读取数据写入到Hudi表的HDFS中，接着集成Flink的环境准备，通过基于yarn-session的Flink的sql-client方式提交任务实现插入数据和流式读取数据，了解字节... ......
大数据下一代变革之必研究数据湖技术Hudi原理实战双管齐下-后续
本篇实战Hudi集成Flink SQl编程示例实现从生成器表写入Hudi表，打包集群验证；然后通过Hudi Flink CDC实现采集MySQL binlog日志写入Kafka再入到hudi表的完整示例，了解Hudi Flink的基础调试只是，最后通过Hudi集成Hive实现Flink Hive C... ......
label studio 结合 MMDetection 实现数据集自动标记、模型迭代训练的闭环
一个 AI 方向的朋友因为标数据集发了篇 SCI 论文，看着他标了两个多月的数据集这么辛苦，就想着人工智能都能站在围棋巅峰了，难道不能动动小手为自己标数据吗？查了一下还真有一些能够满足此需求的框架，比如 [cvat]、 [doccano] 、 [label studio]等，经过简单的对比后发现还... ......
Flink SQL管理平台flink-streaming-platform-web安装搭建
文章都在个人博客网站：https://www.ikeguang.com/ 同步，欢迎访问。 最近看到有人在用flink sql的页面管理平台，大致看了下，尝试安装使用，比原生的flink sql界面确实好用多了，我们看下原生的，通过bin/sql-client.sh命令进入那个黑框，一只松鼠，对，就 ......
数据库和缓存的一致性如何保证
最近帮组里做讲座预约系统，虽然使用人数不多，但终于还是遇到了一些系统经典问题，比如数据库与缓存的一致性问题，很有意思，好记性不如烂笔头，学习了一些思路以后决定记录下来与大家分享。 什么是数据库与缓存的一致性问题 程序员应该没人不懂这个，但我还是觉得应该写上，有头有尾。所谓数据库与缓存的一致性问题，可 ......
Spring Boot 多数据源配置
第一种方式： AbstractRoutingDataSource 1.1. 手动切换数据源 application.properties # Order # 如果用Druid作为数据源，应该用url属性，而不是jdbc-url spring.datasource.order.jdbc-url=jdb ......
java并发数据结构之CopyOnWriteArrayList
CopyOnWriteArrayList是一个线程安全的List实现，其在对对象进行读操作时，由于对象没有发生改变，因此不需要加锁，反之在对象进行增删等修改操作时，它会先复制一个对象副本，然后对副本进行修改，最后将修改后的副本对象写回，从而保证操作的线程安全,下面我们看一下具体的代码实现。 构造函数 ......
京东零售大数据云原生平台化实践
导读： 今天为大家介绍京东零售大数据的云原生平台化实践，主要包括以下几大方面内容： 云原生的定义和理解 云原生相关技术的演化 京东大数据在云原生平台化上的实践 云原生应用平台的发展 分享嘉宾：刘仲伟 京东 架构师 编辑整理：张明宇 广州某银行 出品社区：DataFun 01/云原生的定义和理解 1. ......
Opengl ES之YUV数据渲染
YUV回顾 记得在音视频基础知识介绍中，笔者专门介绍过YUV的相关知识，可以参考： 《音视频基础知识-YUV图像》 YUV数据量相比RGB较小，因此YUV适用于传输，但是YUV图不能直接用于显示，需要转换为RGB格式才能显示，因而YUV数据渲染实际上就是使用Opengl ES将YUV数据转换程RGB ......
Spring Boot 配置多数据源
Spring Boot 配置多数据源 作者：Grey 原文地址： 博客园：Spring Boot 配置多数据源 CSDN：Spring Boot 配置多数据源 说明 本文主要介绍了 Spring Boot 下如何配置多数据源。 环境和版本 Java 版本：17 Spring Boot 版本：3.0. ......
.NET 6 实现滑动验证码（二）、基本数据
上一节，介绍了滑动验证码的基本情况，也创建了一个.NET 6的工程。本节内容是创建一些基础类。 (创建基础类) 本节创建的类全部在工程的Model目录下： CaptchaData.cs CaptchaData.cs：验证码的数据类实体 namespace SlideCaptcha.Model { p ......
Flink同步Kafka数据到ClickHouse分布式表
公众号文章都在个人博客网站：https://www.ikeguang.com/ 同步，欢迎访问。 业务需要一种OLAP引擎，可以做到实时写入存储和查询计算功能，提供高效、稳健的实时数据服务，最终决定ClickHouse。 什么是ClickHouse？ ClickHouse是一个用于联机分析(OLAP ......
基于Spring-AOP的自定义分片工具
作者：陈昌浩 1 背景 随着数据量的增长，发现系统在与其他系统交互时，批量接口会出现超时现象，发现原批量接口在实现时，没有做分片处理，当数据过大时或超过其他系统阈值时，就会出现错误。由于与其他系统交互比较多，一个一个接口做分片优化，改动量较大，所以考虑通过AOP解决此问题。 2 Spring-AOP ......
模拟Promise的功能
模拟Promise的功能, 按照下面的步骤,一步一步 1. 新建是个构造函数 2. 传入一个可执行函数 函数的入参第一个为 fullFill函数 第二个为 reject函数； 函数立即执行， 参数函数异步执行3. 状态一旦更改就不可以变更 只能 pending => fulfilled 或者 pen ......
一步一图带你深入理解 Linux 物理内存管理
1. 前文回顾 在上篇文章 《深入理解 Linux 虚拟内存管理》 中，笔者分别从进程用户态和内核态的角度详细深入地为大家介绍了 Linux 内核如何对进程虚拟内存空间进行布局以及管理的相关实现。在我们深入理解了虚拟内存之后，那么何不顺带着也探秘一下物理内存的管理呢？ 所以本文的目的是在深入理解虚拟 ......
KVC原理与数据筛选
作者：宋宏帅 1 前言 在技术论坛中看到一则很有意思的KVC案例： @interface Person : NSObject @property (nonatomic, copy) NSString *name; @property (nonatomic, assign) NSInteger age ......
零基础入门数据挖掘——二手车交易价格预测：baseline
本文是对阿里云天池竞赛——零基础入门数据挖掘之二手车交易价格预测的学习记录，是一个很简单的baseline。 ......
Windows 服务器中使用 mysqldump 命令导出数据，解决中文乱码问题
起因 环境：阿里云服务器(windows server)、mysql(8.0.11) mysql> select @@version; + + | @@version | + + | 8.0.11 | + + 1 row in set 在windows服务器中每天备份一次数据库数据，防止出现各种意外 ......
谈谈我的「数字文具盒」 - 生产力工具（上）
在完成了数字基建、运行平台的搭建后，迎来应用服务 - 生产力工具的搭建；生产力工具主要从公共服务、工具、程序开发三个方面来说。由于全文篇幅字数较多，故分为上下两篇分开阅读。 博客 博客（Blog）是一种在线日记形式的个人网站，借由博文、图片或视频来记录生活、抒发情感或分享信息，能够让读者以互动的方式 ......
谈谈我的「数字文具盒」 - 生产力工具（下）
下文接着生产力工具继续说起，主要涉及到一些非常好用、事半功倍的工具！ 思维脑图 思维导图（mind map）是一种用图像整理信息的图解。它用一个中央关键词或想法以辐射线形连接所有的代表字词、想法、任务或其它关联项目。它可以利用不同的方式去表现人们的想法，如引题式、可见形象化式、建构系统式和分类式。它 ......
技术管理之如何协调加班问题
今天刚好跟一个前同事聊一些以前加班的事情，他跟我吐槽公司加班的问题，但我管理的技术部门一直没怎么加班。就想起来之前为了达成这件事做的一些努力，本来想细说，但他好像不太感兴趣，结果我自己憋了一肚子话，不吐不快，不如分享给其他人吧。所以特此写了这一篇。 1，不加班的基本原则 原则上尽可能不加班，是为了把 ......