Flink
大数据Flink之概述
大数据课程之 Flink 第一章 概述 1.1 流处理技术的演变 在开源世界里，Apache Storm 项目是流处理的先锋。Storm 最早由 Nathan Marz和创业公司 BackType 的一个团队开发，后来才被 Apache 基金会接纳。Storm 提供了低延迟的流处理，但是它为实时性付 ......
flink demo
## 1. 搭建测试环境安装 ### 1.1 下载并启动docker-compose容器 ```bash # 该 Docker Compose 中包含的容器有： # DataGen：数据生成器。容器启动后会自动开始生成用户行为数据，并发送到 Kafka 集群中。默认每秒生成 1000 条数据，持续生 ......
flink初识
一、flink：apache开源的一款流处理框架，其核心是用Java和Scala编写的分布式流数据流引擎。Flink以数据并行和流水线方式执行任意流数据程序，Flink的流水线运行时系统可以执行批处理和流处理程序。此外，Flink的运行时本身也支持迭代算法的执行。 二、Flink是一个计算框架和分布 ......
Flink DataStream API
Flink 的 DataSet 和 DataStream 的 API，并模拟了实时计算的场景。 说好的流批一体呢 现状 Flink 很重要的一个特点是“流批一体”，然而事实上 Flink 并没有完全做到所谓的“流批一体”，即编写一套代码，可以同时支持流式计算场景和批量计算的场景。目前截止 1.10 ......
Flink
[官网](https://flink.apache.org/ "官网") ``` https://flink.apache.org/ ``` ##### 下载安装包 ``` https://flink.apache.org/downloads.html https://dlcdn.apache.or ......
Flink 核心技术与实战
你将获得 熟练掌握 Flink SQL 接口的原理与操作方法； 深入理解 Flink DataStream API 的实践原理； 全面剖析 Flink Runtime 的设计与实现机制； 完整构建一个实时推荐数据流系统。 课程介绍目前大部分公司的大数据处理工作，使用的还是离线处理技术，但未来，流式计 ......
虚拟机安装Flink步骤
1、先下载一个flink ,下载地址：https://flink.apache.org/downloads.html#apache-flink-172 2、通过xshell的FTP复制到虚拟机文件夹/usr/flink下 3、执行命令解压：tar -zxvf flink-1.15.0-bin-sca ......
Flink的JobManger-Dispatcher执行流程
# 背景 通过命令行向Flink集群提交任务，都经过哪些环节，中间的调用关系是什么。 这里以Yarn模式为例，通过Flink任务提交至Yarn集群，由Yarn的AM开始执行Flink代码作为入口，尝试进行分析。 Flink里的代码调用关系比较复杂，这里只列了部分关键点，太过于琐碎的代码就没有具体深入 ......
一文解开主流开源变更数据捕获技术之Flink CDC的入门使用
相比前面介绍maxwell，实时数据采集中最主流技术非Flink CDC莫属，其直接省去中间的消息中间件如kafka，且支持增量采集也支持全量采集；本篇先介绍CDC的技术和分类，进一步了解其特性和支持丰富数据源，最后通过FLink DataStream和SQL两种编程示例解开入门。 ......
Flink任务提交至Yarn的流程分析
# 背景 肯定会有人好奇，我们写的Flink任务代码是如何执行的，本着学习的态度，以flink-yarn的方式，在阅读源码的基础上做一个自己的总结。 # 环境信息 jdk：1.8 scala：2.12 flink：1.13 hadoop:3.0 hadoop相关的环境搭建就不赘述了，参考网上文档即可 ......
聊聊Flink CDC必知必会
CDC是(Change Data Capture变更数据获取)的简称。 核心思想是，监测并捕获数据库的变动（包括数据 或 数据表的插入INSERT、更新UPDATE、删除DELETE等），将这些变更按发生的顺序完整记录下来，写入到消息中间件中以供其他服务进行订阅及消费。 ## Flink CDC的设 ......
Flink任务提交流程分析
# 背景说明 在早期的Flink1.9时，为了对Flink任务的进行部署管理，对Flink任务提交的流程进行分析。刚好以前的博客图片失效了，那就用Flink1.13来再读一遍相关源码。 # 任务提交 flink任务提交的起点是flink脚本，以提交至Yarn为例，我们运行wordcount的脚本如下 ......
基于 Flink CDC 构建 MySQL 到 Databend 的 实时数据同步
这篇教程将展示如何基于 Flink CDC 快速构建 MySQL 到 Databend 的实时数据同步。本教程的演示都将在 Flink SQL CLI 中进行，只涉及 SQL，无需一行 Java/Scala 代码，也无需安装 IDE。 假设我们有电子商务业务，商品的数据存储在 MySQL ，我们需要 ......
window wsl 无法访问flink webui
[https://blog.csdn.net/weixin_38988171/article/details/126012785](https://blog.csdn.net/weixin_38988171/article/details/126012785) 修改flink配置文件 ``` res ......
聊聊Flink必知必会(四)
### 概述 Flink Streaming API借鉴了谷歌数据流模型(Google Data Flow Model)，它的流API支持不同的时间概念。Flink明确支持以下3个不同的时间概念。 Flink明确支持以下3个不同的时间概念。 (1)事件时间：事件发生的时间，由产生（或存储）事件的设备 ......
聊聊Flink的必知必会(三)
### 概述 在进行流处理时，很多时候想要对流的有界子集进行聚合分析。例如有如下的需求场景： (1)每分钟的页面浏览(PV)次数。 (2)每用户每周的会话次数。 (3)每分钟每传感器的最高温度。 (4)当电商发布一个秒杀活动时，想要每隔10min了解流量数据。 对于这些需求的处理，程序需要处理元素组 ......
Flink提交任务命令整理
环境: Flink 1.13.6和Flink 1.14.4 yarn-session模式： --启动yarn seeion bin/yarn-session.sh \ -s 8 \ -jm 4g \ -tm 16g \ -nm yarn-session-flink \ -d yarn-session ......
Flink1.13.6 部署踩坑记录
环境 Hadoop集群是Ambari2.7.5的版本 Flink是1.13.6_2.12的版本 问题记录 1.缺少jar包 报错：ERROR org.apache.flink.yarn.cli.FlinkYarnSessionCli [] - Error while running the Flin ......
Flink重启策略
Flink默认重启策略是通过Flink的配置文件设置的flink-conf.yaml,配置参数restart-strategy定义采用的策略。 注意：如果启用了checkpoint并且没有显式配置重启策略，会默认使用fixeddelay策略，最大重试次数为Integer.MAX_VALUE。 1.固 ......
jenkins 自动化部署 flink job
Jenkinsfile def deployIp = '192.168.1.53' def remote = [:] remote.name = deployIp remote.host = deployIp remote.user = 'root' remote.password = LCX_PW ......
Flink 的 checkpoint 机制对比 spark 有什么不同和优势？
spark streaming 的 checkpoint 仅仅是针对 driver 的故障恢复做了数据和元数据的 checkpoint。 而 flink 的checkpoint 机制要复杂很多，它采用的是轻量级的分布式快照，实现了每个算子的快照，及流动中的数据的快照。 ......
kettle和Flink做ETL的区别
Kettle和Flink都可以用于ETL（抽取、转换和加载）处理，但它们有一些不同之处。 Kettle是一款基于图形化界面的ETL工具，可以通过拖放组件的方式来设计和构建ETL流程。它提供了大量的内置组件和步骤，可以用于处理各种数据源和格式。Kettle的优点是易于使用和学习，适合于小型数据处理任务 ......
聊聊Flink必知必会(二)
### Checkpoint与Barrier Flink是一个有状态的流处理框架，因此需要对状态做持久化，Flink定期保存状态数据到存储空间上，故障发生后从之前的备份中恢复，这个过程被称为Checkpoint机制。而Checkpoint为Flink提供了Exactly-Once的投递保障。 流处理 ......
flink 源代码启动
Flink源码编译启动 背景纯小白新手入门flink，由于自身基础差底子薄，启动个源码各种查资料找资源，终于启动好了 值得记录一下，本文源码启动是基于idea+jdk8+maven在windows上启动flink1.16源码。 （1）下载源码源码地址：https://github.com/apach ......
聊聊Flink的必知必会(一)
Flink 是一个框架和分布式处理引擎，用于在无边界和有边界数据流上进行有状态的计算。Flink能在所有常见集群环境中运行，并能以内存速度和任意规模进行计算。 ......
实例讲解Flink 流处理程序编程模型
摘要：在深入了解 Flink 实时数据处理程序的开发之前，先通过一个简单示例来了解使用 Flink 的 DataStream API 构建有状态流应用程序的过程。 本文分享自华为云社区《Flink 实例：Flink 流处理程序编程模型》，作者：TiAmoZhang 。 在深入了解 Flink 实时数 ......
推荐一款比Flink CDC更好用的免费CDC工具
很多中大型企业都希望选择一款足够轻量好用的CDC工具，而且最好是小白用户都能使用的CDC工具，今天就推荐一款小白都能安装并立即使用的CDC工具给大家。 CDC（Change Data Capture）是一种用于捕获和传递数据库实时变更的技术。它允许您实时地监测和捕获数据库中的数据变化，并将这些变化以 ......
Flink - 概述
官网：https://flink.apache.org/ Flink 是什么 为什么选择Flink 流处理的应用场景 Flink的特点 Flink 是什么 是一个流式的数据流执行引擎，其针对数据流的分布式计算提供了数据分布，数据通信以及容错机制等功能。 是一个框架和分布式处理引擎，用于对无界和有界数 ......
Flink的几种Join总结
# Regular join组 第一种： left join 流任务中，只要left的流数据到了，就输出。如果右边流没有到，输出 [L,NULL]；如果右边流到了，输出 [L, R] 第二种： right join 流任务中，只要right的流数据到了，就输出。如果左边流没有到，输出 [NULL，R ......
flink源码分析--RPC通信过程分析
flink的通信框架基于akka，但是不懂akka也关系不大。 首先介绍几个概念，大家记住名字和对应的作用： xxxGateway：在flink中就是一个用来告诉调用者，xxx具有哪些方法可以调用的一个接口类。比如JobMasterGateway就是用来告诉所有需要调用JobMaster的用户，我J ......