数据结构 使用方法 结构 方法

大数据下一代变革之必研究数据湖技术Hudi原理实战双管齐下-中

本篇详细描述hoodie数据读写流程,进一步加深对数据湖技术的理解。理论后转战集成Spark的使用,通过spark-shell和spark-sql实现hoodie的插入数据、查询数据、更新数据、删除数据、覆盖数据、时间旅行查询等示例,了解创建表、修改表结构、查询分区、删除分区基本用法,为进一步使用奠... ......
数据 双管齐下 下一代 实战 原理

大数据下一代变革之必研究数据湖技术Hudi原理实战双管齐下-下

本篇演示了Hudi集成Spark的Scala编程示例,并一步步操作说明如何使用DeltaStreamer从Kafka里读取数据写入到Hudi表的HDFS中,接着集成Flink的环境准备,通过基于yarn-session的Flink的sql-client方式提交任务实现插入数据和流式读取数据,了解字节... ......
数据 双管齐下 下一代 实战 原理

大数据下一代变革之必研究数据湖技术Hudi原理实战双管齐下-后续

本篇实战Hudi集成Flink SQl编程示例实现从生成器表写入Hudi表,打包集群验证;然后通过Hudi Flink CDC实现采集MySQL binlog日志写入Kafka再入到hudi表的完整示例,了解Hudi Flink的基础调试只是,最后通过Hudi集成Hive实现Flink Hive C... ......
数据 双管齐下 下一代 实战 原理

MySQL数据库:6、约束的概述及语法

Python基础之MySQL数据库 一、约束概述 1、为什么要约束 ​ 为了防止数据库中存在不符合语义规定的数据和防止错误信息的输入、输出造成无效的操作而提出的 ​ 为了保证数据的完整性,SQL规范以约束的方式对表数据进行额外的条件限制,从以下四个方面考虑 实体完整性:例如一个表中不能存在两条相同的 ......
语法 数据库 数据 MySQL

MySQL数据库:7、SQL常用查询语句

Python基础之MySQL数据库 一、SQL语句常用查询方法 前期数据准备 ​ 为了更加直观的展示、演示SQL语句查询关键字,需导入下列表格与记录(数据) ​ 模拟公司,导入创建公司员工表,表内包含:ID、姓名、年龄、工作时间、岗位 创建人员表格: create table emp( id int ......
常用查询 语句 常用 数据库 数据

CSS伪类使用详解

基本描述 CSS伪类是很常用的功能,主要应用于选择器的关键字,用来改变被选择元素的特殊状态下的样式。 伪类类似于普通CSS类的用法,是对CSS选择器的一种扩展,增强选择器的功能。 目前可用的伪类有大概40多个,少部分有兼容性问题。我们比较常见的,如::hover、:root、:first-child ......
CSS

label studio 结合 MMDetection 实现数据集自动标记、模型迭代训练的闭环

一个 AI 方向的朋友因为标数据集发了篇 SCI 论文,看着他标了两个多月的数据集这么辛苦,就想着人工智能都能站在围棋巅峰了,难道不能动动小手为自己标数据吗?查了一下还真有一些能够满足此需求的框架,比如 [cvat]、 [doccano] 、 [label studio]等,经过简单的对比后发现还... ......
闭环 MMDetection 标记 模型 数据

[Kogel.Subscribe.Mssql]SQL Server增量订阅,数据库变更监听

此框架是SQL Server增量订阅,用来监听增删改数据库数据变更 目前仅支持SQL Server,后续会支持MySQL和Oracle,Nuget上可以下载安装 或者使用Nuget命令添加包 dotnet add package Kogel.Subscribe.Mssql --version 0.0 ......
增量 Subscribe 数据库 数据 Server

知道策略模式!但不会在项目里使用?

前言 在学开发的第二年就开始听说要想代码写得好,一定要会设计模式。于是就兴致冲冲的啃了《Head First 设计模式》,看完之后对于策略模式映像很深刻,觉得这个模式好,易上手,应用广,我又能优化一波代码了(装波逼了),于是兴致冲冲的打开了我的 IDEA,开整!!! 策略模式初体验(错误示范) 在讲 ......
策略 模式 项目

165 pbi-utils 使用文档

165 pbi-utils 使用文档 一、背景 先来说一下为什么会有 pbi-utils 这个小工具吧。在我日常做演示的示例文件的时候,每次都要重新搞一次 Power BI Desktop,就想能不能像 PPT 模板那样,搞一个模板,然后更专心的去专注内容本身呢?一段时间来,我其实也是用的这种方式, ......
pbi-utils 文档 utils 165 pbi

java并发数据结构之CopyOnWriteArrayList

CopyOnWriteArrayList是一个线程安全的List实现,其在对对象进行读操作时,由于对象没有发生改变,因此不需要加锁,反之在对象进行增删等修改操作时,它会先复制一个对象副本,然后对副本进行修改,最后将修改后的副本对象写回,从而保证操作的线程安全,下面我们看一下具体的代码实现。 构造函数 ......

加强堆结构说明

加强堆结构说明 作者:Grey 原文地址: 博客园:加强堆结构说明 CSDN:加强堆结构说明 关于堆和堆排序的说明 可以参考这篇博客:与堆和堆排序相关的问题 基础的堆结构可以实现数据入堆和出堆以后(即: 调用堆的 pop 和 push 方法),使用O(logN)的时间复杂度可以将堆调整好,如果使用的 ......
结构

基于桶的排序之基数排序以及排序方法总结

基于桶的排序之基数排序以及排序方法总结 作者:Grey 原文地址: 博客园:基于桶的排序之基数排序以及排序方法总结 CSDN:基于桶的排序之基数排序以及排序方法总结 说明 基于桶的排序有两种,分别是计数排序和基数排序。 但是这两种排序应用范围有限,需要样本的数据状况满足桶的划分 计数排序算法说明见: ......
基数 方法

Spring Boot 多数据源配置

第一种方式: AbstractRoutingDataSource 1.1. 手动切换数据源 application.properties # Order # 如果用Druid作为数据源,应该用url属性,而不是jdbc-url spring.datasource.order.jdbc-url=jdb ......
数据源 数据 Spring Boot

京东零售大数据云原生平台化实践

导读: 今天为大家介绍京东零售大数据的云原生平台化实践,主要包括以下几大方面内容: 云原生的定义和理解 云原生相关技术的演化 京东大数据在云原生平台化上的实践 云原生应用平台的发展 分享嘉宾:刘仲伟 京东 架构师 编辑整理:张明宇 广州某银行 出品社区:DataFun 01/云原生的定义和理解 1. ......
数据 平台

Opengl ES之YUV数据渲染

YUV回顾 记得在音视频基础知识介绍中,笔者专门介绍过YUV的相关知识,可以参考: 《音视频基础知识-YUV图像》 YUV数据量相比RGB较小,因此YUV适用于传输,但是YUV图不能直接用于显示,需要转换为RGB格式才能显示,因而YUV数据渲染实际上就是使用Opengl ES将YUV数据转换程RGB ......
数据 Opengl YUV

Spring Boot 配置多数据源

Spring Boot 配置多数据源 作者:Grey 原文地址: 博客园:Spring Boot 配置多数据源 CSDN:Spring Boot 配置多数据源 说明 本文主要介绍了 Spring Boot 下如何配置多数据源。 环境和版本 Java 版本:17 Spring Boot 版本:3.0. ......
数据源 数据 Spring Boot

.NET 6 实现滑动验证码(二)、基本数据

上一节,介绍了滑动验证码的基本情况,也创建了一个.NET 6的工程。本节内容是创建一些基础类。 (创建基础类) 本节创建的类全部在工程的Model目录下: CaptchaData.cs CaptchaData.cs:验证码的数据类实体 namespace SlideCaptcha.Model { p ......
数据 NET

数据库和缓存的一致性如何保证

最近帮组里做讲座预约系统,虽然使用人数不多,但终于还是遇到了一些系统经典问题,比如数据库与缓存的一致性问题,很有意思,好记性不如烂笔头,学习了一些思路以后决定记录下来与大家分享。 什么是数据库与缓存的一致性问题 程序员应该没人不懂这个,但我还是觉得应该写上,有头有尾。所谓数据库与缓存的一致性问题,可 ......
一致性 缓存 数据库 数据

postman的使用

零、PostMan介绍 Postman 是一个接口测试工具软件,可以帮助开发人员管理测试接口。当用户在 Postman 中输入请求并单击 Send 按钮时,服务器将接收用户的请求并返回 Postman 在接口中显示的响应的信息。 一、使用介绍 1、创建集合 集合可以理解成请求的总和或合集,在Post ......
postman

Flink同步Kafka数据到ClickHouse分布式表

公众号文章都在个人博客网站:https://www.ikeguang.com/ 同步,欢迎访问。 业务需要一种OLAP引擎,可以做到实时写入存储和查询计算功能,提供高效、稳健的实时数据服务,最终决定ClickHouse。 什么是ClickHouse? ClickHouse是一个用于联机分析(OLAP ......
分布式 ClickHouse 数据 Flink Kafka

如何使用zx编写shell脚本

前言 在这篇文章中,我们将学习谷歌的zx库提供了什么,以及我们如何使用它来用Node.js编写shell脚本。然后,我们将学习如何通过构建一个命令行工具来使用zx的功能,帮助我们为新的Node.js项目引导配置。 编写Shell脚本的问题 创建一个由Bash或者zsh执行的shell脚本,是自动化重 ......
脚本 shell

浏览器DevTools使用技巧

我们是袋鼠云数栈 UED 团队,致力于打造优秀的一站式数据中台产品。我们始终保持工匠精神,探索前端道路,为社区积累并传播经验价值。 本文作者:正则 作为一名前端开发人员,平时开发中使用最多的就是 Chrome devtools,但可能很多同学像我一样平时用的最多也就 Console、Elements ......
使用技巧 DevTools 浏览器 技巧

UE4 WebUI插件使用指南

在开发数字孪生应用程序的时候,除了三维场景展示之外,也需要开发丰富和酷炫的2D页面。 使用UE4的UMG开发图表显得比较笨拙。 而通过Web插件允许开发者创建丰富的基于Web HTML5的用户界面,它由内置在UE4中的web浏览器提供支持,包括对Windows、Mac、Linux、Android和i ......
使用指南 插件 指南 WebUI UE4

.NET 6使用ImageSharp给图片添加水印

​ .NET 6 中,使用System.Drawing操作图片,生成解决方案或打包的时候,会有警告,意思是System.Drawing仅在 'windows' 上受支持。微软官方的解释是: System.Drawing.Common NuGet 包现在被归为 Windows 特定的库。 在为非 Wi ......
水印 ImageSharp 图片 NET

Springboot 整合 SpringCache 使用 Redis 作为缓存

一直以来对缓存都是一知半解,从没有正经的接触并使用一次,今天腾出时间研究一下缓存技术,开发环境为OpenJDK17与SpringBoot2.7.5 源代码下载地址:https://hanzhe.lanzoue.com/iK4AF0hjl3lc SpringCache基础概念 接口介绍 首先看看Spr ......
缓存 SpringCache Springboot Redis

如何在 K8S 集群范围使用 imagePullSecret?

在这篇文章中,我将向你展示如何在 Kubernetes 中使用 imagePullSecrets。 imagePullSecrets 简介 Kubernetes 在每个 Pod 或每个 Namespace 的基础上使用 imagePullSecrets 对私有容器注册表进行身份验证。要做到这一点,你 ......
imagePullSecret 集群 范围 K8S K8

Blazor和Vue对比学习(进阶.路由导航一):基本使用

Blazor和Vue都是单文件组件SPA,路由的实现逻辑非常相似,页面路径的改变都是组件的切换,但因为各自语言的特性,在实现方式上有较大差异。 一、安装 1、Vue:Router是Vue的一个插件。如果使用Vite脚手架初始化项目,需要手动安装和配置Router插件。如果使用Vue脚手架初始化项目, ......
路由 Blazor Vue

VS嵌入式开发-模拟器中使用LVGL8.3

LVGL是一个跨平台、轻量级、易于移植的图形库。也因其支持大量特性和其易于裁剪,配置开关众多,且版本升级较快,不同版本之间存在一定的差异性,相关的使用教程有一定的滞后性,由于缺少最新版本的中文教程,加上大量的教程中未注明对应的版本,初始接触的开发者往往容易中招,花费大量时间爬坑,本文特对自己的使用经... ......
模拟器 嵌入式 LVGL8 LVGL

关于 .NET 在不同操作系统中 IO 文件路径拼接方法,升级 .NET 7 后注意到的一个知识点

.NET 现在支持跨平台这件事情已经是众所周知的特点了,虽然平台整体支持跨平台了,但是我们的代码如果真的想要实现跨平台运行其实还是有些小细节要注意的,今天想要记录分享的就是关于 文件I/O操作时路径的拼接问题。 在 Windows 环境下我们常见的路径格式如下: D:\Software\AppDat ......
知识点 路径 NET 文件 方法