Flink
单节点flink部署
单节点flink推荐作用于测试环境，最好不要使用到线上环境 一、环境配置： 1、安装Java 至少1.8版本 https://www.cnblogs.com/xiaoyou2018/p/9945272.html 2、系统环境变量 vi -b /etc/profile export FLINK_HOM ......
Flink 内存配置学习总结
设置进程内存(Process Memory) Apache Flink通过严格控制其各种组件的内存使用，在JVM之上提供高效的工作负载。 配置总内存(Total Memory) Flink JVM进程的总进程内存(total process memory)由Flink应用程序消耗的内存(总Flink ......
[Flink/Kafka] Flink消费Kafka消息的检查点设置方式 [转载]
flink消费kafka 本机java代码测试 flink消费kafka机制 flink 消费 kafka 数据，提交消费组 offset 有三种类型 1、开启 checkpoint ： 在 checkpoint 完成后提交 2、开启 checkpoint，禁用 checkpoint 提交： 不提交 ......
全网最详细4W字Flink全面解析与实践(下)
本文已收录至GitHub，推荐阅读 👉 Java随想录 微信公众号：Java随想录 原创不易，注重版权。转载请注明原作者和原文链接 承接上篇未完待续的话题，我们一起继续Flink的深入探讨 Flink State状态 Flink是一个有状态的流式计算引擎，所以会将中间计算结果（状态）进行保存，默认 ......
全网最详细4W字Flink全面解析与实践(上)
本文已收录至GitHub，推荐阅读 👉 Java随想录 微信公众号：Java随想录 原创不易，注重版权。转载请注明原作者和原文链接 注：原文字数过多，单篇阅读时间过长，故将文章拆分为上下两篇 在大数据技术栈的探索中，我们曾讨论了离线计算的Spark，而当谈到实时计算，就不得不提Flink。本文将集 ......
javaapi、spark、flink 创建Iceberg表，hive 和impala无法正常读取解决
spark、flink 创建Iceberg表中，元数据存储在hive 的meta_store,发现hive 或者impala无法正常读取报错。事实上解决方案是 在spark 、flink 的SQL中执行语句: add iceberg相关引擎的runntime的jar;ALTER TABLE t SE ......
Flink消费kafka数据同步问题排查
Flink消费kafka数据同步问题排查 https://mp.weixin.qq.com/s/EZbCKHBI_JrsF0yJndhe8Q Flink消费kafka数据同步问题排查 原创 任天兵 哈啰技术 2023-10-31 17:31 发表于上海 我们有一个flink任务，消费的kafka的数 ......
Flink客户端操作
一、mysql数据准备 mysql -hip -uroot -p密码 CREATE DATABASE flink; USE flink; CREATE TABLE user ( id INTEGER NOT NULL PRIMARY KEY, name VARCHAR(255) NOT NULL D ......
【Flink系列二十】Flink AsyncIOExample long running 应用程序
Flink AsyncIOExample Flink 的源码内有这么一个AsyncIOExample程序，非常好用，可以用来无限跑流。用英文说就是long running或者runs forever。 同时可以用来测试checkpoints，metricReporter。 如何找到这个程序 这个程序 ......
flink监控指标搭建
Flink Metrics Flink12 metrics.reporters: prom metrics.reporter.prom.class: org.apache.flink.metrics.prometheus.PrometheusReporter metrics.reporter.pro ......
flink UDF 中 分母为0 消费异常 不再消费
flink UDF 中 分母为0 消费异常 不再消费 调试方法 添加控制台打印 System.out.println("输入有误！"); 在 team manager 的stdout看数据 翻译 搜索 复制 ......
Flink测试利器之DataGen初探
Flink SQL 提供了许多扩展功能和语法，以适应 Flink 的流式和批处理引擎的特性。他是Flink最高级别的抽象，可以与 DataStream API 和 DataSet API 无缝集成，利用 Flink 的分布式计算能力和容错机制。 ......
flink优化
1、时间定义、事件时间和 处理时间 https://nightlies.apache.org/flink/flink-docs-release-1.17/docs/dev/table/concepts/time_attributes/#defining-in-ddl-12、自定义函数 https:/ ......
Flink窗口函数 tumble
小结： 1、系统会根据数据的Event Time生成的Watermark来进行关窗 FlinkSQL支持的窗口函数类型_实时计算Flink版-阿里云帮助中心 https://help.aliyun.com/zh/flink/developer-reference/overview-4 概述 更新时间 ......
重新编译kyuubi-1.6.1版本使其提交flink sql流式任务时不阻塞
kyuubi-1.6.1版本对于flink sql的支持不是很好，在提交流式任务时会阻塞进程，为了修复这个缺陷，需要修改源代码并重新编译 待编译的kyuubi版本：kyuubi-1.6.1-incubating 适配的flink版本：flink-1.14.4 1、下载kyuubi-1.6.1-inc ......
flink序列化类型验证
flink支持的序列化类型 官方支持 java tuples and scala caseclasses java pojos primitive types regular classes values hadoop writables speclal Types 验证代码 StreamExecu ......
flink 与 es 的一些问题
写入es maping字段类型冲突 error1: org.apache.flink.streaming.connectors.elasticsearch.util.NoOpFailureHandler.onFailure(NoOpFailureHandler.java:40) - Failed E ......
Flink学习记录
Flink 学习记录 1 简介 1.1 梗概 Apache Flink 是一个框架和分布式处理引擎，用于对无界和有界数据流进行状态计算。对比Spark来说，FLink是真正的流式计算框架，而不是像Spark的微批处理 1.2 工程搭建 <properties> <flink.version>1.13 ......
Flink 1.17教程：时间和窗口
在批处理统计中，我们可以等待一批数据都到齐后，统一处理。但是在实时处理统计中，我们是来一条就得处理一条，那么我们怎么统计最近一段时间内的数据呢？引入“窗口”。 所谓的“窗口”，一般就是划定的一段时间范围，也就是“时间窗”；对在这范围内的数据进行处理，就是所谓的窗口计算。所以窗口和时间往往是分不开的。 ......
flink 结果表为mysql null、浮点入表
硬件设备的软件版本，上报的信息不同。 flink 结果表为mysql null、浮点入表 com.alibaba.ververica.connectors.common.exception.ConnectorException: ************ERR_ID: CON-04000041CAU ......
Flink
Flink概念Flink运行时由两种类型的进程组成：JobManager和TaskManager。Flink Program可以理解为自己提交的jar包。构建出Dataflow（数据流），Optimizer Graph Builder（图构造优化器），Client（客户端）。时域事件时间事件发生的时 ......
【Flink系列十九】java.lang.NoSuchMethodError: org.apache.hadoop.tracing.TraceUtils.wrapHadoopConf
问题 Flink 提交作业，直接报错: java.lang.NoSuchMethodError: org.apache.hadoop.tracing.TraceUtils.wrapHadoopConf(Ljava/lang/String;Lorg/apache/hadoop/conf/Configu ......
【Flink系列十八】HDFS_DELEGATION_TOKEN过期的问题解决汇总
排查HDFS_DELEGATION_TOKEN过期问题，以及问题汇总。排查分为三种情况，Spark框架自身的问题，Hadoop全家桶的问题，开发者通过Hive,HDFS,HBASE访问HDFS的问题。 ......
Flink CDC 原理、实践和优化
本文转载自： https://zhuanlan.zhihu.com/p/430182083 CDC 变更数据捕获技术可以将源数据库的增量变动记录，同步到一个或多个数据目的。本文基于腾讯云 Oceanus 提供的 Flink CDC 引擎，着重介绍Flink 在变更数据捕获技术中的应用。 一、CDC ......
Flink 架构学习总结
Flink是一个分布式系统，要求有效地分配和管理计算资源以执行流式应用程序。它集成了所有常见的集群资源管理器，如Hadoop YARN和Kubernetes，但也可以设置为作为standalone甚至库运行。 本节概述了Flink的体系结构，并描述了其主要组件如何交互以执行应用程序以及从故障中恢复。 ......
在flink-1.17中测试执行流处理版本的单词计数程序时，出现"Exception in thread "Thread-5" java.lang.IllegalStateException: T
场景描述 采用 单作业模式提交作业后发现报错了 报错内容 Exception in thread “Thread-5” java.lang.IllegalStateException: Trying to access closed classloader. Please check if you ......
[Flink] Flink Demo Job : WordCount
# 1 序言 + 本文章是博主正式入门学习、实践大数据流批一体数据处理的Flink框架的第1篇文章，本文是根据参考文章做完实验后的过程总结、技术总结。  实时计算（Flink）_企业版产品简介_全栈云平台_企业版 (aliyun.com) ......
从 Flink 1.17 开始，flink 发行版本不再包含 flink-connector-jdbc, link-connector-jdbc 成为独立的项目，与 flink 主版本解耦
github地址如下：apache/flink-connector-jdbc: Apache flink (github.com) Flink 1.17 自定义 MySQL Catalog - Flink菜鸟 - 博客园 (cnblogs.com) ......