hudi笔记spark
读后笔记 -- Java核心技术（第11版 卷I ）Chapter1-2 Java 程序设计
本书源码（下载对应版本的代码）：https://horstmann.com/corejava/index.html Java 17 API 文档：https://docs.oracle.com/javase/17/docs/api 配套视频讲解（卷一）：https://space.bilibili. ......
算法笔记
算法笔记 10个数据结构：数组、链表、栈、队列、散列表、二叉树、堆、跳表、图、Trie 树； 10个算法：递归、排序、二分查找、搜索、哈希算法、贪心算法、分治算法、回溯算法、动态规划、字符串匹配算法 股票问题系列通解（转载翻译） - 力扣（LeetCode） 数据结构和容器 基本类型： int,lo ......
min-max 容斥学习笔记
定义 设 $\max(S)$ 为集合 S 中的最大值， $\min(S)$ 为集合 $S$ 中的最小值，$|S|$ 为集合 S 的元素数量，那么有以下两个等式： $$\max(S)=\sum_{T \subseteq S} (-1)^{|T|+1} \min(T)$$ $$\min(S)=\sum_ ......
0-《从0到1：CTFer成长之路》学习笔记
本人很早就买下了《从0到1：CTFer成长之路》这本书，但一直没有好好的阅读并实践这本书上的内容 《从0到1：CTFer成长之路》这本书自发布以来一直是国内CTF相关领域优秀的学习书籍，本人也是在学长的推荐下买下这本书。但在购买此书两年后才开始真正学习。 记下这篇博客，开始真正阅读这本书。 ......
王树森Transformer学习笔记
Transformer Transformer是完全由Attention和Self-Attention结构搭建的深度神经网络结构。 其中最为重要的就是Attention和Self-Attention结构。 Attention结构 Attention Layer接收两个输入$X = [x_1, x_2 ......
算法学习笔记(19): 树上启发式合并（DSU on tree）
树上启发式合并 DSU on tree，我也不知道DSU是啥意思 这是一种看似特别玄学的优化 可以把树上部分问题由 $O(n^2)$ 优化到 $O(n \log n)$。 例如 CodeForces 600E。 又例如一道神奇的题： 适用情况 可以离线的部分树上问题。 需要子树上的所有信息，但是信息 ......
Django笔记三之使用model对数据库进行增删改查
本篇笔记目录索引如下： model 准备 增 查 删 改 1、model 准备 在上一篇笔记中，我们新建了一个 application，增加了几个model 同步到了数据库，这次我们新建一个名为 blog 的application，同步数据结构。 大概分为以下几步： python3 manage.p ......
Django笔记二之连接数据库、执行migrate数据结构更改操作
本篇笔记目录索引如下： Django 连接mysql，执行数据库表结构迁移步骤介绍 操作数据库，对数据进行简单操作 接下来几篇笔记都会介绍和数据库相关，包括数据库的连接、操作（包括增删改查）、对应的字段类型、model 里Meta 相关参数和 QueryAPI 的详解等。 这一篇先介绍数据库的连接和 ......
TypeScript 学习笔记 — 类型兼容 （十）
TS 是结构类型系统（structural type system），基于结构/形状检查类型，而非类型的名字。 TS 中的兼容性，主要看**结构是否兼容**。(核心是考虑安全性),结构化的类型系统(又称鸭子类型检查),如两个类型名字不一样但是无法区分 类型兼容性是基于结构子类型的。 结构类型是一种只 ......
《操作系统导论》读书笔记1——CPU虚拟化，进程
系列文章目录和关于我 一丶CPU的虚拟化 一个桃子，我们称之为物理（physical）桃子。但有很多想吃这个桃子的 人，我们希望向每个想吃的人提供一个属于他的桃子，这样才能皆大欢喜。我们把给每个 人的桃子称为虚拟（virtual）桃子。我们通过某种方式，从这个物理桃子创造出许多虚拟桃子。重要的是，在 ......
Asp-Net-Core开发笔记：使用RateLimit中间件实现接口限流
前言 最近一直在忙（2月份沉迷steam，3月开始工作各种忙），好久没更新博客了，不过也积累了一些，忙里偷闲记录一下。 这个需求是这样的，我之前做了个工单系统，现在要对登录、注册、发起工单这些功能做限流，不能让用户请求太频繁。 从 .Net7 开始，已经有内置的限流功能了，但目前我们的项目还在使用 ......
JUC源码学习笔记8——ConcurrentHashMap源码分析1 如何实现低粒度锁的插入，如何实现统计元素个数，如何实现并发扩容迁移
源码基于jdk1.8 这一片主要讲述ConcurrentHashMap如何实现低粒度锁的插入，如何实现统计元素个数，如何实现并发扩容迁移 系列文章目录和关于我 一丶ConcurrentHashMap概述 支持高并发读写的哈希表，ConcurrentHashMap中每一个方法都是线程安全的，并且读数据 ......
「学习笔记」平衡树基础：Splay 和 Treap
「学习笔记」平衡树基础：Splay 和 Treap 点击查看目录 知识点 平衡树概述 二叉搜索树（BST）的简单定义： 根节点的左子树权值 $<$ 根节点权值 $<$ 根节点的右子树权值； 左子树和右子树均为二叉搜索树。 这样的数据结构可以维护一个集合的以下操作： 查找最小/最大值； 插入一个元素； ......
几种类型神经网络学习笔记
跟随【导师不教？我来教！】同济计算机博士半小时就教会了我五大深度神经网络，CNN/RNN/GAN/transformer/LSTM一次学会，简直不要太强！_哔哩哔哩_bilibili了解的五大神经网络，整理笔记如下： 视频是唐宇迪博士讲解的，但是这个up主发的有一种东拼西凑的感觉，给人感觉不是很完整 ......
Qt开发技术：Q3D图表开发笔记（一）：Q3DScatter三维散点图介绍、Demo以及代码详解
前言 qt提供了q3d进行三维开发，虽然这个框架没有得到大量运用也不是那么成功，性能上也有很大的欠缺，但是普通的点到为止的应用展示还是可以的。 其中就包括华丽绚烂的三维图表，数据量不大的时候是可以使用的。 Demo：Q3DScatter散点图演示效果 Q3D提供的三维图表 依赖QtDataVisua ......
Apache Hudi 0.13.0版本重磅发布！
Apache Hudi 0.13.0 版本引入了许多新功能，包括 Metaserver、变更数据捕获、新的 Record Merge API、Deltastreamer支持新数据源等。 虽然此版本不需要表版本升级，但希望用户在使用 0.13.0 版本之前按照下面的迁移指南采取相关重大变更和行为变更的 ......
算法学习笔记(18): 平衡树（一）
平衡树 建议在清楚二叉搜索树的所有操作之后食用本文。本文将略过部分基础知识 本文主要会讲到4中较常用的平衡树： Treap FHQ-Treap（无旋Treap） Splay WBLT 其实WBLT不怎么常用，但是我个人最喜欢用 我将会在另一篇文章中讲述其他的平衡树，如AVL，红黑树，替罪羊树等。 可 ......
计网学习笔记三 MAC与LAN
在上一讲中，我们学习了链路层可以提供的服务😶：framing，link access，reliable delivery，error detection&correction。这一讲我们从link access中的broadcast接入方式深入，学习这种接入方式下的协议，以及衍生出的MAC地址，最 ......
计网学习笔记二 Link Layer Service
在上一周的计网学习了network和Internet的总论。在这一周开始的未来几讲将集中在链路层link layer，并且会有相应的计网lab完成。在这一讲中，我们主要关注链路层提供的服务。 课程资料地址：https://cs.nju.edu.cn/lwz/networks/CH2-Direct%2 ......
Qt 学习笔记 - 第二章 - 添加图片、布局、界面切换
Qt 学习笔记全系列传送门： Qt 学习笔记 - 第一章 - 快速开始、信号与槽 【本章】Qt 学习笔记 - 第二章 - 添加图片、布局、界面切换 Qt 学习笔记 - 第三章 - Qt的三驾马车之一 - 串口编程 + 程序打包成Windows软件 Qt 学习笔记 - 第四章 - Qt的三驾马车之二 ......
组合数学笔记-排列与组合
排列与组合 排列 排列的定义与基本性质 定义 设一个集合 $S$ 中有 $n$ 个元素，从中有序地取出 $m(0\leq m \leq n)$ 个元素排成一列， 称为 $S$ 的一个 $m$ 排列。两个排列相同，当且仅当元素相同且顺序相同。我们记 $\text{P}_n^m$ 、 $\text{A} ......
组合数学笔记-特殊计数数列
特殊计数数列 斐波那契数列 斐波那契数列的定义与基本性质 历史背景 斐波那契数列（Fibonacci sequence），又称黄金分割数列，因数学家莱昂纳多·斐波那契（Leonardo Fibonacci）以兔子繁殖为例子而引入，故又称为“兔子数列”。 定义 斐波那契数列 $F_n$ 有递推定义 $ ......
VisionPro学习笔记（1）——软件介绍和基本使用
前言 自己使用visionPro已经有段时间了，最近也一直在研究其算子的理论，为了加深印象，计划将自己的学习笔记整理在博客园，当然其官方文档对如何使用及其各种算子都有详细的介绍，所以这里的笔记仅仅为个人加深理解而做，就当是个个人日记，日后也好查找。 ！！！ 为了方便，大部分图片来自网络，所以如有侵权 ......
Apache Hudi 流转批 场景实践
背景 在某些业务场景下，我们需要一个标志来衡量hudi数据写入的进度，比如：Flink 实时向 Hudi 表写入数据，然后使用这个 Hudi 表来支持批量计算并通过一个 flag 来评估它的分区数据是否完整从而进一步写入分区数据进行分区级别的ETL，这也就是我们通常说的流转批。 EventTime计 ......
Apache Hudi 负载类Payload使用案例剖析
在 Hudi 中可以根据业务场景为 Hudi 表配置负载类Payload，它用于在更新期间合并同一记录的两个版本。本文将深入了解有效负载类的用途以及可以使用的所有不同方式。 配置：hoodie.datasource.write.payload.class 注意：对于新的记录合并API ，这些可能会发 ......
Ansible 多机自动化工具 初学笔记
此文档仅张聪明同学个人笔记；新负责KTH-RPL Cluster GPU的漫漫学习长路 English Docs: official https://docs.ansible.com/ansible/latest/index.html 中文相关文档： https://ansible.leops.cn ......
[学习笔记]SQL server完全备份指南
@ 本文将介绍如何在日常项目中，对SQL server数据库做备份和还原工作，SQL server的备份/还原机制，详情参见官方文档：备份和还原 Linux 上的 SQL Server 数据库 方式一，使用SQL Server Management Studio 准备工作 连接目标数据库服务器 在目 ......
计网学习笔记一 Networking && Internet
参考书籍： James F. Kurose, Keith W. Ross. 计算机网络—自顶向下方法 (7th). 机械工业出版社，2018. William Stallings. 数据与计算机 通信 (8th). 电子工业出版社 **课程网站地址：**https://cs.nju.edu.cn/l ......
《关于我因为flink成为spark源码贡献者这件小事》
各位读者老爷请放下手上的板砖，我可真没有标题党，且容老弟慢慢道来。 spark和flink本身相信我不用做过多的介绍，后端同学不管搞没搞过大数据，应该都多多少少听过。 如果没听过，简单说，spark和flink之于大数据，就好比vue和react之于前端，就好比spring家族之于java。 从20 ......
《深入理解java虚拟机》第七章读书笔记——虚拟机类加载机制
系列文章目录和关于我 一丶虚拟机类加载机制是什么 java虚拟机将描述类的数据从class文件加载到内存,并对数据进行校验，转换解析和初始化，最终形成可用被虚拟机直接使用的java类型。 二丶类加载时机 1.什么时候会触发虚拟机的类类加载昵？ 遇到new（使用new关键字实例化对象），getstat ......