Flink
FLink
java.util.concurrent.TimeoutException: Invocation of [RemoteRpcInvocation(TaskExecutorGateway.requestSlot(SlotID, JobID, AllocationID, ResourceProfile ......
Flink SQL基本语法
在 flink sql 中，对表名、字段名、函数名等是严格区分大小写的，为了兼容 hive 等其他仓库，建议建表时，表名和字段名都采用下划线连接单词的方式，以避免大小写问题。 比如 hive ，是不区分大小写的，所有大写字母最终都会被系统转化为小写字母，此时使用 flink sql 去读写 hive ......
Flink SQL 数据类型
Flink SQL 为用户提供了一系列丰富的原始数据类型。 数据类型 | Apache Flink https://nightlies.apache.org/flink/flink-docs-master/zh/docs/dev/table/types/ 翻译 搜索 复制 ......
Flink-读Kafka写Hive表
1. 目标 使用Flink读取Kafka数据并实时写入Hive表。 2. 环境配置 EMR环境：Hadoop 3.3.3, Hive 3.1.3, Flink 1.16.0 根据官网描述： https://nightlies.apache.org/flink/flink-docs-release-1 ......
Flink的3中API
DataStream/DataSet/Table API是Apache Flink提供的三种不同的API，用于处理不同类型的数据和实现不同的计算模型。 1. DataStream API：DataStream API是基于流式数据的API，用于处理连续不断到达的数据流。它适用于实时数据处理和流式计算 ......
flink用户自定义连接器(http连接器)
1、Flink用户自定义连接器（Table API Connectors）学习总结_flink自定义连接器_董可伦的博客-CSDN博客 2、官网介绍： https://nightlies.apache.org/flink/flink-docs-release-1.17/zh/docs/dev/tab ......
flink的源码编译方法
1、下载flink源码 2、修改整数限制numUnapprovedLicenses 改成100(在pom.xml文件) 3、执行编译命令 ./mvnw clean package -DskipTests 4、如果只想名义子工程 拷贝根目录的mvnw执行脚本到对应子目录，然后再执行./mvnw cle ......
Flink 1.12.2样例
### pom.xml ```xml sample-project org.myproject.bigdata 1.0-SNAPSHOT 4.0.0 JavaFlink-112 1.8 1.8 1.12.2 UTF-8 org.apache.flink flink-java ${flink.vers ......
大数据Flink学习圣经：一本书实现大数据Flink自由
文章很长，且持续更新，建议收藏起来，慢慢读！[**疯狂创客圈总目录 博客园版**](https://www.cnblogs.com/crazymakercircle/p/9904544.html) 为您奉上珍贵的学习资源 ： 免费赠送 :[**《尼恩Java面试宝典》**](https://www. ......
15种实时uv实现方案系列(附源码)之一：Flink基于set实时uv统计
UVStatMultiPlans（GitHub）项目持续收集各种高性能实时uv实现方案并对各种实现方案的优缺点进行对比分析！ #### 需求描述 统计每分钟用户每个页面的uv访问量。 #### Kafka数据格式 ``` {"userId":"c61b801e-22e7-4238-8f67-9096 ......
Flink and Kafka Streams: a Comparison and Guideline for Users
This blog post is written jointly by Stephan Ewen, CTO of data Artisans, and Neha Narkhede, CTO of Confluent. Stephan Ewen is PMC member of Apache Fli ......
开源XL-LightHouse与Flink、ClickHouse之类技术相比有什么优势
Flink是一款非常优秀的流式计算框架，而ClickHouse是一款非常优秀的OLAP类引擎，它们是各自所处领域的佼佼者，这一点是毋庸置疑的。Flink除了各种流式计算场景外也必然可以用于流式统计，ClickHouse同样也可以用于流式统计，但我不认为它们是优秀的流式统计工具。XL-Lighthou ......
Apache Flink目录遍历漏洞复现CVE-2020-17519
# Apache Flink目录遍历漏洞复现CVE-2020-17519 ## 前置知识 `Apache Flink:` > Apache Flink 是一个框架和分布式处理引擎，用于在*无边界和有边界*数据流上进行有状态的计算。Flink 能在所有常见集群环境中运行，并能以内存速度和任意规模进行计 ......
中电金信：技术实践｜Flink多线程实现异构集群的动态负载均衡
导语：Apache Flink是一个框架和分布式处理引擎，用于对无界和有界数据流进行有状态计算。本文主要从实际案例入手并结合作者的实践经验，向各位读者分享当应用场景中异构集群无法做到负载均衡时，如何通过Flink的自定义多线程来实现异构集群的动态负载均衡。 ● 1. 前言 ● 2. 出现的问题与解决 ......
史上最全Flink面试题，高薪必备，大数据面试宝典
文章很长，且持续更新，建议收藏起来，慢慢读！[**疯狂创客圈总目录 博客园版**](https://www.cnblogs.com/crazymakercircle/p/9904544.html) 为您奉上珍贵的学习资源 ： 免费赠送 :[**《尼恩Java面试宝典》**](https://www. ......
flink-cdc同步mysql数据到elasticsearch
1，什么是cdc CDC是（Change Data Capture 变更数据获取）的简称。核心思想是，监测并捕获数据库的变动（包括数据 或 数据表的插入INSERT、更新UPDATE、删除DELETE等），将这些变更按发生的顺序完整记录下来，写入到消息中间件中以供其他服务进行订阅及消费。 2，fli ......
Flink源码解析(二)——Flink流计算应用执行环境解析
在Flink应用执行过程中会涉及到3个主要的执行环境变量，分别为StreamExecutionEnvironment、Environment、RuntimeContext。它们的作用层次、作用时机、作用范围各不相同。3种环境对象的关系如下图: 下面分别介绍3种环境对象的细节信息。 一、StreamE ......
Flink源码解析(零)——源码解析系列随笔说明
00、博主仅是数据开发及数仓开发工程师，出于提升自身对Flink系统原理掌握考虑，自愿花费精力整理源码解析系列随笔，并非专业Flink系统开发人员，在源码解析过程中出现非专业行为望见谅。希望Flink系统开发专业人员多提意见，不胜感激。 01、Flink源码解析系列随笔主要基于Flink 1.17. ......
FLink参数pipeline.operator-chaining介绍
1、当使用flink提交一个任务，没有给算子设置并行度情况下，默认所有算子会chain在一起，整个DAG图只会显示一个算子，虽然有利于数据传输，提高程序性能，但是无法看到数据的输入和疏忽，业绩反压相关指标。 2、在api开发任务中，可以使用disableChaining方法打算operatorCha ......
flink-sql-connector-mongodb-cdc和flink-connector-mongodb-cdc的区别是什么
flink-sql-connector-mongodb-cdc 和 flink-connector-mongodb-cdc 都是 Flink 的 MongoDB CDC（Change Data Capture）连接器，用于从 MongoDB 数据库中捕获变化数据并将其传递给 Flink 进行实时处理 ......
Flink 容错机制 保存点和检查点
Flink检查点常用配置： //配置检查点 env.enableCheckpointing(180000); // 开启checkpoint 每180000ms 一次 env.getCheckpointConfig().setMinPauseBetweenCheckpoints(50000);// ......
阿里云flink操作示例
前期简单查询：（不同版本语法或有不同，当前版本：专有云flink1.11） 1、可以先简单定义自己的源表字段（下图test），进行简单查询，确定结果是否输出（结果输出是一直存在的，源表实时新增一条数据，查询结果就会新增一条数据） 备注：以下示例特殊信息写成自己的信息；可定义多个源表 2、定义结果表（ ......
flink个人理解
1.广播 想把配置streamConfig,广播到流stream中 stream.connect(streamConfig.broadcast(映射描述器msd)); // msd的作用有2(a.泛型, b.获取广播数据context.getBroadcastState(msd)只有通过这个msd才 ......
第三章 Flink 集群搭建
# Flink集群搭建 ```text Flink 可以选择的部署方式有： Local、Standalone（资源利用率低）、Yarn、Mesos、Docker、Kubernetes、AWS。 我们主要对 Standalone 模式和 Yarn 模式下的 Flink 集群部署进行分析。 我们对sta ......
Flink实时数仓
### 为什么分层？ 复杂的问题简单化 避免重复计算 参考大厂做法 ### ods层 1. 采集到ods链路： 用户行为数据（前端埋点）：前端埋点=》Nginx=》日志服务器（springboot--落盘成log）=》flume==》kafka：topic_log 业务数据（MySQL）：mysql ......
Flink 运行架构
# 第四章 Flink 运行架构 ## 4.1 Yarn 模式任务提交流程  ``` text (1)Fl ......
全网最详细4W字Flink入门笔记（上）
本文已收录至Github，推荐阅读 👉 [Java随想录](https://github.com/ZhengShuHai/JavaRecord) 微信公众号：[Java随想录](https://mmbiz.qpic.cn/mmbiz_jpg/jC8rtGdWScMuzzTENRgicfnr91C5 ......
全网最详细4W字Flink入门笔记（下）
本文已收录至Github，推荐阅读 👉 [Java随想录](https://github.com/ZhengShuHai/JavaRecord) 微信公众号：[Java随想录](https://mmbiz.qpic.cn/mmbiz_jpg/jC8rtGdWScMuzzTENRgicfnr91C5 ......
大数据生态圈/Hadoop/Spark/Flink/数据仓库/实时分析/推荐系统
课程实用性很强，老师讲的很透彻，都是面试容易问到的；紧扣当前企业所用技术，对于从事大数据或者转行大数据行业，都有很大的帮助。 比屋教育，秉承“活学活用”的教育理念，集合资深专家讲师团队，依托完善的线上教学管控平台，专注于大数据、云计算、互联网架构师等领域的职业技能培训，着力培养满足互联网企业实际需求 ......
大数据Flink之基本架构
第二章 Flink基本架构 2.1 JobManager 与 TaskManager Flink 运行时包含了两种类型的处理器： JobManager 处理器：也称之为 Master，用于协调分布式执行，它们用来调度 task，协调检查点，协调失败时恢复等。Flink 运行时至少存在一个 maste ......