flink hudi
FLink写入Clickhouse优化
一、背景 ck因为有合并文件操作，适合批量写入。如单条插入则速度太慢 二、Flink写入ck优化 改为分批插入，代码如下 DataStream<Row> stream = ... stream.addSink(JdbcSink.sink( "INSERT INTO mytable (col1, co ......
FLink怎么做压力测试和监控？
我们一般碰到的压力来自以下几个方面： 一，产生数据流的速度如果过快，而下游的算子消费不过来的话，会产生背压问题。背压的监控可以使用Flink Web UI(localhost:8081)来可视化监控，一旦报警就能知道。一般情况下背压问题的产生可能是由于sink这个操作符没有优化好，做一下优化就可以了 ......
为什么使用Flink替代Spark？
一，Flink是真正的流处理，延迟在毫秒级，Spark Streaming是微批，延迟在秒级。 二，Flink可以处理事件时间，而Spark Streaming只能处理机器时间，无法保证时间语义的正确性。 三，Flink的检查点算法比Spark Streaming更加灵活，性能更高。Spark St ......
Flink流式数据缓冲后批量写入Clickhouse
一、背景 对于clickhouse有过使用经验的开发者应该知道，ck的写入，最优应该是批量的写入。但是对于流式场景来说，每批写入的数据量都是不可控制的，如kafka，每批拉取的消息数量是不定的，flink对于每条数据流的输出，写入ck的效率会十分缓慢，所以写了一个demo，去批量入库。生产环境使用还 ......
flink安装（无hadoop）
下载Flink：访问Flink的官方网站（https://flink.apache.org/），在下载页面找到适合你操作系统的预编译二进制包。选择与你的操作系统和版本相对应的下载链接，点击下载。 解压二进制包：下载完成后，将二进制包解压到你想要安装Flink的目录中。你可以使用命令行工具（如tar命 ......
什么是flink
https://flink.apache.org/zh/ Flink（Apache Flink）是一个开源的流处理和批处理框架，旨在处理大规模的数据流和批处理任务。它提供了高效、可扩展和容错的数据处理能力，适用于各种数据处理场景。 以下是Flink的一些关键概念： 流（Stream）：Flink以数 ......
Flink保留savepoint，并从savepoint启动示例
FLink1.6版本，基于Yarn集群示例： 1、启动示例： ../bin/flink run -t yarn-per-job -Dyarn.application.queue="default" -c org.apache.flink.base.basedoit._23_State_Operato ......
Hudi表创建时HDFS上的变化
SparkSQL 建 Hudi 表语句： ```sql CREATE TABLE t71 ( ds BIGINT, ut STRING, pk BIGINT, f0 BIGINT, f1 BIGINT, f2 BIGINT, f3 BIGINT, f4 BIGINT ) USING hudi PAR ......
【Flink系列十八】History Server 重新登场，如何跟Yarn进行集成
本文介绍了Flink 1.16的 HistoryServer 集成Yarn进行日志查看的方案，详细分析了Jobmanager和TaskManager的日志链接转换的方法。仅供参考。 ......
Hudi表类型和查询类型
### 官方参考 [Table & Query Types](https://hudi.apache.org/cn/docs/next/table_types) ### 查询类型 * **快照查询（Snapshot Queries）** 查询最新的数据。 * **增量查询（Incremental Q ......
Hudi的OverwriteNonDefaultsWithLatestAvroPayload效果测试
设置 Payload 为 OverwriteNonDefaultsWithLatestAvroPayload： ```sql set `hoodie.datasource.write.payload.class`=`org.apache.hudi.common.model.OverwriteNonD ......
【Flink系列十七】Flink On Yarn 的Classpath传递分析
从NoClassDefFoundError:org/apache/hadoop/mapred/MRVersion到 Flink On Yarn 的Classpath的传递过程分析。ClassNotFoundException: org.apache.hadoop.mapred.MRVersion ......
hudi记录
hudi好文档-hudi-resources https://github.com/leesf/hudi-resources【Hudi】数据湖（三）：Hudi概念术语https://blog.csdn.net/u013522009/article/details/125243952【Hudi】数据湖 ......
flink计算引擎
第1章 Flink简介 1.1 初识Flink 1) Flink项目的理念是：“Apache Flink是为分布式、高性能、随时可用以及准确的流处理应用程序打造的开源流处理框架”。 2) Apache Flink是一个框架和分布式处理引擎，用于对无界(nc lk 9999)和有界数据(一个文档)流进 ......
Flink白话解析Watermark
一、摘要 如果想使用Flink，Flink的Watermark是很难绕过去的概念。本文帮大家梳理Watermark概念 二、Watermark疑问 1、Flink应用的常见需求是什么 如公司运营一个官网，想统计下过去一分钟有多少用户访问官网。一分钟可以理解为Flink的窗口，在这一分钟统计有多少用户 ......
Apache Hudi 在袋鼠云数据湖平台的设计与实践
在大数据处理中，[实时数据分析](https://www.dtstack.com/dtengine/easylake?src=szsm)是一个重要的需求。随着数据量的不断增长，对于实时分析的挑战也在不断加大，传统的批处理方式已经不能满足[实时数据处理](https://www.dtstack.com ......
hudi学习
## 1.背景 想要对自己的各种数据（非结构化）进行统一管理，突然想到数据湖，看看是否符合我的需求。 ## 2.Hudi简介 #### 2.1 hudi的特性 ``` mutability support for all data lake workoads Quickly update & del ......
提升 Apache Hudi Upsert 性能的三个建议
Apache Hudi 社区一直在快速发展，各公司正在寻找方法来利用其强大的功能来有效地摄取和管理大规模数据集。 每周社区都会收到一些常见问题，最常见的问题与 Hudi 如何执行更新插入有关，以确保以低延迟访问最新数据。 # 选择合适的存储表类型 快速更新插入的主要考虑因素之一是选择正确的存储表类型 ......
flink之java.lang.NumberFormatException: For input string错误
场景： 使用flink读取一张hudi表，将数据写入到另外一张hudi表。 错误栈： java.lang.NumberFormatException: For input string: "test_table" at java.lang.NumberFormatException.forInput ......
Hudi的ro和rt表
建表后并不会产生 ro 和 rt 两个表： spark-sql> create table hudi_mor_tbl ( > id int, > name string, > price double, > ts bigint > ) using hudi > tblproperties ( > t ......
Hudi的Index类型
Hudi 的索引是 hoodiekey 到文件组（File Group）或者文件 ID（File ID）的映射，hoodiekey 由 recordkey 和 partitionpath 两部分组成。 定义在文件 HoodieIndex.java 中。 分一下几种： |类型|说明| |:-|:-| ......
hudi的bucket.index相关配置
hudi的bucket.index相关配置的源码文件为 HoodieIndexConfig.java 。 通用配置 |配置项名|默认值|说明|引入版本| |:-|:-|:-|:-| |hoodie.index.type|无默认值|索引类型，可取值：HBASE、INMEMORY、BLOOM、GLOBA ......
Hudi的precombine.field释疑
从不同资料，可看到四个让人迷惑的 precombine.field 配置项： precombine.field write.precombine.field hoodie.table.precombine.field hoodie.datasource.write.precombine.field ......
flink中的Keyed State
Keyed state是指在Flink中与一个特定key相关联的状态。在Flink中，数据被分区并按key分组。当数据流被分区和分组后，每个key都有一个对应的状态，这就是Keyed state。它可以用于计算窗口、聚合操作和连续查询等。Keyed state通常用于在流处理中跟踪关键得分、计数或其 ......
flink的事件时间、摄取时间、处理时间
在Flink中，事件时间、摄取时间和处理时间是用于处理流数据的三种时间概念。这三种时间概念分别反映了不同程序处理的时间特征。下面分别介绍它们的定义及区别： 事件时间（Event Time）: 事件时间是指事件在数据源端实际发生的时间，通常信息保存在事件数据的元数据或者是数据内容中。事件时间允许Fli ......
Flink创建Hudi的Sink动态表
工厂类 HoodieTableFactory 提供的创建动态表接口 createDynamicTableSource 和 createDynamicTableSink，对应的源码文件为：https://github.com/apache/hudi/blob/master/hudi-flink-dat ......
Hudi的Flink配置项（1）
名词 FallbackKeys 备选 keys，可理解为别名，当指定的 key 不存在是，则找备选 keys，在这里指配置项的名字。 相关源码 FlinkOptions // https://github.com/apache/hudi/blob/master/hudi-flink-datasour ......
启动flink显示ERROR: JAVA_HOME is not set and could not be found.
问题： JAVA_HOME存在，但启动flink时出现ERROR: JAVA_HOME is not set and could not be found. 原因： 环境变量加载顺序不对 # /etc/profile.d/hadoop.sh # ... export HADOOP_CLASSPATH ......
flink Connecting to remote task manager 'localhost/127.0.0.1:44489
问题： 启动集群后，执行任务时失败： Caused by: org.apache.flink.runtime.io.network.partition.consumer.PartitionConnectionException: Connection for partition 47d4a41224 ......
Hudi学习笔记5 - Hudi配置分析（1）
Hudi 官方配置文档：https://hudi.apache.org/docs/configurations，从源码分析可以看到配置项 hoodie.payload.ordering.field 已经废弃，取而代之的是 hoodie.datasource.write.precombine.fiel ......