增量analyticdb flink hudi
flink的事件时间、摄取时间、处理时间
在Flink中，事件时间、摄取时间和处理时间是用于处理流数据的三种时间概念。这三种时间概念分别反映了不同程序处理的时间特征。下面分别介绍它们的定义及区别： 事件时间（Event Time）: 事件时间是指事件在数据源端实际发生的时间，通常信息保存在事件数据的元数据或者是数据内容中。事件时间允许Fli ......
Flink创建Hudi的Sink动态表
工厂类 HoodieTableFactory 提供的创建动态表接口 createDynamicTableSource 和 createDynamicTableSink，对应的源码文件为：https://github.com/apache/hudi/blob/master/hudi-flink-dat ......
Hudi的Flink配置项（1）
名词 FallbackKeys 备选 keys，可理解为别名，当指定的 key 不存在是，则找备选 keys，在这里指配置项的名字。 相关源码 FlinkOptions // https://github.com/apache/hudi/blob/master/hudi-flink-datasour ......
两级式光伏并网逆变器，DCDC环节采用boost电路，通过增量电导法实现光伏最大功率跟踪MPPT。
两级式光伏并网逆变器，DCDC环节采用boost电路，通过增量电导法实现光伏最大功率跟踪MPPT。逆变器采用二电平逆变器，通过双闭环控制，实现并网单位功率因数，并网电流与电网电压同相位，并网电流THD仅有1.3%，符合并网规范，并稳定直流侧母线电压。为了得到电网电网相位，采用基于双二阶广义积分器的锁 ......
启动flink显示ERROR: JAVA_HOME is not set and could not be found.
问题： JAVA_HOME存在，但启动flink时出现ERROR: JAVA_HOME is not set and could not be found. 原因： 环境变量加载顺序不对 # /etc/profile.d/hadoop.sh # ... export HADOOP_CLASSPATH ......
flink Connecting to remote task manager 'localhost/127.0.0.1:44489
问题： 启动集群后，执行任务时失败： Caused by: org.apache.flink.runtime.io.network.partition.consumer.PartitionConnectionException: Connection for partition 47d4a41224 ......
Hudi学习笔记5 - Hudi配置分析（1）
Hudi 官方配置文档：https://hudi.apache.org/docs/configurations，从源码分析可以看到配置项 hoodie.payload.ordering.field 已经废弃，取而代之的是 hoodie.datasource.write.precombine.fiel ......
Hudi学习笔记4 - Hudi配置之Spark配置
Spark Datasource Configs 读配置 |配置项|是否必须|默认值|配置说明| |:-|:-|:-|:-| |as.of.instant|Y|N/A|0.9.0 版本新增，时间旅行查询从哪儿开始，有两种格式的值：yyyyMMddHHmmss 和 yyyy-MM-dd HH:mm:s ......
Hudi学习笔记2 - Hudi配置之FlinkSQL配置
Flink Sql Configs |配置项|是否必须|默认值|配置说明| |:-|:-|:-|:-| |path|Y|N/A|Hudi表的 base path，如果不存在会创建，否则应是一个已初始化成功的 hudi 表| |read.end-commit|Y|N/A|| |read.start-c ......
两级式光伏并网逆变器，DCDC环节采用boost电路，通过增量电导法实现光伏最大功率跟踪MPPT。
两级式光伏并网逆变器，DCDC环节采用boost电路，通过增量电导法实现光伏最大功率跟踪MPPT。逆变器采用二电平逆变器，通过双闭环控制，实现并网单位功率因数，并网电流与电网电压同相位，并网电流THD仅有1.3%，符合并网规范，并稳定直流侧母线电压。为了得到电网电网相位，采用基于双二阶广义积分器的锁 ......
Hudi学习笔记（2）
https://hudi.apache.org/docs/configurations Hudi配置分类 Spark Datasource Configs Spark Datasource 的配置。 Flink Sql Configs Flink SQL source/sink connectors ......
Flink Cdc MySQL 整库同步到 StarRocks
这段时间开始调研使用 StarRocks 做准实时数据仓库：flink cdc 实时同步数据到 StarRocks，然后在 StarRocks 中做分层计算，直接把 StarRocks 中的 ADS 层提供给 BI 查询。架构如下： 由于用到的表比较多，不能用 Flink SQL 给每个表都做个 C ......
Flink 1.17 自定义 MySQL Catalog
Catalog 类型 以下内容来自官网： Hive Catalog 支持Flink 元数据的持久化存储，以前一直用 Hive Catalog 存，偶尔需要用的时候把 Hive Catalog 开启（需启动 hive metastore 和 hiveserver2，还要启动 Hadoop），大部分时候 ......
Hudi学习笔记（1）
使用注意 从 0.10.0 版本开始，primaryKey 为必须的，不再支持没有主键的表。 primaryKey、primaryKey 和 type 均大小写敏感。 对于 MOR 类型的表，preCombineField 为必须的。 当设置 primaryKey、primaryKey 或 type ......
vscode增量文本同步更新
笔记软件在2023/5/6 11:04:17推送该笔记 onDidOpenTextDocument：当文件打开后调用 onDidChangeTextDocument：当文本变动后调用 onDidCloseTextDocument：当文件关闭后调用 connection.onInitialize((p ......
【新鲜出炉的个人项目】基于 Flink 的商品推荐系统
Recs FlinkCommodityRecommendationSystem(基于 Flink 的商品推荐系统) 1. 前言 系统取名为 Recs，灵感源于 Recommendation System。logo 使用在线 logo 网站制作。作者开发该项目，是为了学习 Flink 以及相关大数据中 ......
Apache hudi 核心功能点分析
Hudi 文中部分代码对应 0.14.0 版本 发展背景 初始的需求是Uber公司会有很多记录级别的更新场景，Hudi 在Uber 内部主要的一个场景，就是乘客打车下单和司机接单的匹配，乘客和司机分别是两条数据流，通过 Hudi 的 Upsert 能力和增量读取功能，可以分钟级地将这两条数据流进行拼 ......
8 08｜法则三：架构师如何在一定时间内最大化自己的增量价值？
你好，我是郭东白。上节课我们讲了架构活动中需要重视对商业价值的考量。作为一个架构师，必须要创造足够的商业价值，才能保障自己职业的长期。 那么你作为架构师，该如何为你的公司、部门或团队提供可量化的增量价值呢？主要有扩大收入与减少成本两种路径。今天这节课，我们就结合几个真实的案例来具体分析一下。 如何寻 ......
flink平台项目-cnblog
# flink平台项目 目录 架构 以前架构 现在架构的说明 CDH&集群规模 人员配备 开发周期 为什么用flinkcdc 项目好处 千表入湖工具 flink操作hive flink集成hive的步骤 flinksql 数据源为kafka flink读写sql有两种模式 Temporal Joi ......
Azure DevOps Server 数据还原方式三：增量还原
Contents1. 概述2. 操作方式2.1 创建共享文件夹，并将备份文件复制到共享文件夹中2.2 还原数据3 验证还原的数据库3.1 方式一：核对工作项所在的表的数据3.2 方式二：将数据库配置到应用层，在应用中验证数据4. 常见问题：4.1 不能使用\localhost作为共享文件夹4.2 还 ......
upsert部分hudi表字段
当 insert into 一个 hudi 表时，如果只指定了部分字段，则运行时报错： java.sql.SQLException: java.util.concurrent.ExecutionException: java.lang.RuntimeException: org.apache.hud ......
FreeFileSync实现T级数据的全量备份和每日增量备份
1. 背景 公司现有nas存储中有共计1.8T左右的文件数据（一般是pdf、excel、图片、压缩文件等等格式），因为nas无法做备份；但是后面nas出现故障造成数据丢失；现急需一个解决方案实现如下目标： A、全量备份，首次一次性将1.8T所有数据全量备份到一个移动硬盘中； B、增量备份，全量备份成 ......
scn增量备份恢复dataguard从库(出现gap后主库有添加新的数据文件)
环境:OS:Centos 7DB:19.3.0.0 1.正常同步情况下的scn主从是一致的主库查询: SQL> select SEQUENCE#,FIRST_CHANGE#,NEXT_CHANGE#,APPLIED,STATUS from v$archived_log t where name='t ......
DataX-阿里开源离线同步工具在Windows上实现Sqlserver到Mysql全量同步和增量同步
场景 Kettle-开源的ETL工具集-实现SqlServer到Mysql表的数据同步并部署在Windows服务器上： https://blog.csdn.net/BADAO_LIUMANG_QIZHI/article/details/119891674 上面讲过Kettle的使用，下面记录下阿里开 ......
scn增量备份恢复dataguard从库
环境:OS:Centos 7DB:19.3.0.0 1.正常同步情况下的scn主从是一致的 主库查询: SQL> select SEQUENCE#,FIRST_CHANGE#,NEXT_CHANGE#,APPLIED,STATUS from v$archived_log t where name=' ......
【flink】重启kafka消费者
public class KafkaConsumerJob { public static void main(String[] args) throws Exception { StreamExecutionEnvironment env = StreamExecutionEnvironment. ......
flink学习路线
1 传统架构 2 大数据架构和流式架构的演变工程 3 flink优势和不足 4 flink应用场景 5 flink基本架构 6 环境准备，运行环境和开发环境配置，建议使用java，兼容性好 7 flink编程模型：flink的数据集类型，编程接口，程序结构和数据类型4个维度进行分析。流式处理和批量计 ......
Flink启动报错：/bin/config.sh: line 32: syntax error near unexpected token
flink启动报错 xxx@ssss:/xxx/flink-1.15.2/bin> sh start-cluster.sh /xxx/flink-1.15.2/bin/config.sh: line 32: syntax error near unexpected token `<' /xxx/fl ......
单机单节点Flink的部署
一、Flink的下载和安装 1、Flink的下载 官方下载网址：https://archive.apache.org/dist/flink/这里选择1.15.2这个版本 2、把Flink上传到主机上 把下载好的文件上传到/opt/software上 3、解压Flink安装包 把Flink解压到/op ......
Flink之基于EventTime的WaterMark
什么是FLink watermark? Flink watermark是一种用于时间和事件处理的机制，它为事件流中的每个事件都分配了一个时间戳，以便将其与其他事件进行排序和分组。Watermark还为每个事件流提供了一个智能定界框架，使Flink能够有效地控制事件流的处理方式。Watermark可以 ......