底层flink join
Flink任务提交流程分析
# 背景说明 在早期的Flink1.9时，为了对Flink任务的进行部署管理，对Flink任务提交的流程进行分析。刚好以前的博客图片失效了，那就用Flink1.13来再读一遍相关源码。 # 任务提交 flink任务提交的起点是flink脚本，以提交至Yarn为例，我们运行wordcount的脚本如下 ......
基于 Flink CDC 构建 MySQL 到 Databend 的 实时数据同步
这篇教程将展示如何基于 Flink CDC 快速构建 MySQL 到 Databend 的实时数据同步。本教程的演示都将在 Flink SQL CLI 中进行，只涉及 SQL，无需一行 Java/Scala 代码，也无需安装 IDE。 假设我们有电子商务业务，商品的数据存储在 MySQL ，我们需要 ......
FPGA电机控制源码(verilog+nios2架构)FPGA电机控制源码, 方案为单FPGA方案才用底层verilog + 应用层nios2的
FPGA电机控制源码(verilog+nios2架构)FPGA电机控制源码, 方案为单FPGA方案才用底层verilog + 应用层nios2的软件架构，很具有学习价值。包括编码器模块算法， 坐标变换算法， 矢量调制算法等等。注：此代码不适合新手小白。FPGA电机控制源码是一个用于控制电机的程序代码 ......
STM32 PLC底层Keil源码 实现三菱FX2N 延申科普： STM32微控制器
STM32 PLC底层Keil源码 实现三菱FX2N延申科普：STM32微控制器是一种基于ARM Cortex-M内核的32位微控制器系列，由意法半导体（STMicroelectronics）开发。它具有高性能、低功耗和丰富的外设接口，广泛应用于嵌入式系统开发领域。STM32系列微控制器提供了多个型 ......
这里提供了一个基于STM32F103系列单片机的项目工程文件，其中包含了STM32 PLC底层源码和FX2N源码。底层源码
这里提供了一个基于STM32F103系列单片机的项目工程文件，其中包含了STM32 PLC底层源码和FX2N源码。底层源码实现了断电保持功能，并且适合初学者，因为有很多注释解释了三菱指令编码。这个项目需要使用Keil MDK 4.7以上的版本进行编译，CPU需要是STM32F103，RAM内存至少为 ......
window wsl 无法访问flink webui
[https://blog.csdn.net/weixin_38988171/article/details/126012785](https://blog.csdn.net/weixin_38988171/article/details/126012785) 修改flink配置文件 ``` res ......
计算机底层的秘密读书笔记之三
# 计算机底层的秘密读书笔记之三 ## IO部分之一 ``` 我感觉IO应该是最可能给人说明白的一个部分了. 也是我这种菜鸟改善应用性能最可能的部分了. CPU内存和cache 很难有优化的空间. 除非是开发去改垃圾代码.后者是升级硬件. 但是IO部分我感觉是有很大的优化空间的. 1.IO多路复用. ......
计算机底层的秘密读书笔记之二
# 计算机底层的秘密读书笔记之二 ## 内存部分 ``` 内存部分之前自己看过很多资料了: 主要是虚拟内存以及TLB相关的内容 本书的角度与之前角度都不太一样,更加新颖一些. 这次总结想倒着来写. 1. SSD的带宽和延迟都比较好了, 但是是无法代替内存的 内存的寻址可以到字节,然后都是按照内存的位 ......
计算机底层的秘密读书笔记之一
# 计算机底层的秘密读书笔记之一 ## 摘要 ``` 上周天在家休息时在知乎上面看到了影响性能的几个场景. 里面见到了cache的乒乓问题,以及cache line的伪共享问题. 知乎的答案里面图文并茂. 作者的思路也很清晰 就顺着水印找到了公众号还有作者刚出版的一本书. 京东周一快递到手后,这几天 ......
聊聊Flink必知必会(四)
### 概述 Flink Streaming API借鉴了谷歌数据流模型(Google Data Flow Model)，它的流API支持不同的时间概念。Flink明确支持以下3个不同的时间概念。 Flink明确支持以下3个不同的时间概念。 (1)事件时间：事件发生的时间，由产生（或存储）事件的设备 ......
聊聊Flink的必知必会(三)
### 概述 在进行流处理时，很多时候想要对流的有界子集进行聚合分析。例如有如下的需求场景： (1)每分钟的页面浏览(PV)次数。 (2)每用户每周的会话次数。 (3)每分钟每传感器的最高温度。 (4)当电商发布一个秒杀活动时，想要每隔10min了解流量数据。 对于这些需求的处理，程序需要处理元素组 ......
Flink提交任务命令整理
环境: Flink 1.13.6和Flink 1.14.4 yarn-session模式： --启动yarn seeion bin/yarn-session.sh \ -s 8 \ -jm 4g \ -tm 16g \ -nm yarn-session-flink \ -d yarn-session ......
Flink1.13.6 部署踩坑记录
环境 Hadoop集群是Ambari2.7.5的版本 Flink是1.13.6_2.12的版本 问题记录 1.缺少jar包 报错：ERROR org.apache.flink.yarn.cli.FlinkYarnSessionCli [] - Error while running the Flin ......
Flink重启策略
Flink默认重启策略是通过Flink的配置文件设置的flink-conf.yaml,配置参数restart-strategy定义采用的策略。 注意：如果启用了checkpoint并且没有显式配置重启策略，会默认使用fixeddelay策略，最大重试次数为Integer.MAX_VALUE。 1.固 ......
jenkins 自动化部署 flink job
Jenkinsfile def deployIp = '192.168.1.53' def remote = [:] remote.name = deployIp remote.host = deployIp remote.user = 'root' remote.password = LCX_PW ......
Oracle反连接HASH JOIN ANTI NA会处理驱动表连接列null值
Oracle反连接HASH JOIN ANTI NA会处理驱动表连接列null值 这个现象和Oracle内连接HASH JOIN/半连接HASH JOIN SEMI不处理驱动表连接列null值相反。 反连接中无论一下哪个结论都一样： HASH JOIN ANTI NA HASH JOIN ANTI ......
Oracle内连接HASH JOIN/半连接HASH JOIN SEMI不处理驱动表连接列null值
Oracle内连接HASH JOIN/半连接HASH JOIN SEMI不处理驱动表连接列null值 先说内连接，比如有sql如下： select count(*) from t,tt where t.col=tt.col; 测试表t,tt的信息如下：其中t表全是null值。 15:16:18 ZK ......
Flink 的 checkpoint 机制对比 spark 有什么不同和优势？
spark streaming 的 checkpoint 仅仅是针对 driver 的故障恢复做了数据和元数据的 checkpoint。 而 flink 的checkpoint 机制要复杂很多，它采用的是轻量级的分布式快照，实现了每个算子的快照，及流动中的数据的快照。 ......
无限分解流----Fork/Join框架
Fork译为拆分，Join译为合并Fork/Join框架的思路是把一个非常巨大的任务，拆分成若然的小任务，再由小任务继续拆解。直至达到一个相对合理的任务粒度。然后执行获得结果，然后将这些小任务的结果汇总，生成大任务的结果，直至汇总成最初巨大任务的结果。如下图： 红色箭头代表拆分子任务。绿色箭头代表返 ......
StringUtils.join()方法使用
* StringUtils.join()方法使用 打印输出： * 使用 StringBuilder 进行拼接:张三,李四,王五 * 使用 StringUtils.join 进行拼接:张三,李四,王五 * 张三,李四,王五 * 张三&李四&王五 * 张三和李四和王五 * 手机 耳机 电脑 packag ......
HashMap内部的数据结构是什么？底层是怎么实现的？
HashMap内部结构jdk8以前：数组+链表jdk8以后：数组+链表 （当链表长度到8时，转化为红黑树）在并发的情况，发生扩容时，可能会产生循环链表，在执行get的时候，会触发死循环，引起CPU的100%问题，所以一定要避免在并发环境下使用HashMap。 ......
kettle和Flink做ETL的区别
Kettle和Flink都可以用于ETL（抽取、转换和加载）处理，但它们有一些不同之处。 Kettle是一款基于图形化界面的ETL工具，可以通过拖放组件的方式来设计和构建ETL流程。它提供了大量的内置组件和步骤，可以用于处理各种数据源和格式。Kettle的优点是易于使用和学习，适合于小型数据处理任务 ......
聊聊Flink必知必会(二)
### Checkpoint与Barrier Flink是一个有状态的流处理框架，因此需要对状态做持久化，Flink定期保存状态数据到存储空间上，故障发生后从之前的备份中恢复，这个过程被称为Checkpoint机制。而Checkpoint为Flink提供了Exactly-Once的投递保障。 流处理 ......
从今天起，换一种轻松有趣的方式学习计算机底层技术！
大家好，我是轩辕之风。 告诉大家一个好消息，我的 《趣话计算机底层技术》 系列技术故事图书终于出版了！ 印刷厂新鲜出炉的第一批图书，已经上线京东、当当啦！ 你还记得那个CPU一号车间的阿Q吗？这一次它要继续讲故事给你听啦！ 创作起源 我为什么要写这本书呢？ 在很多年前，我就发现了一个现象：当我们去学 ......
flink 源代码启动
Flink源码编译启动 背景纯小白新手入门flink，由于自身基础差底子薄，启动个源码各种查资料找资源，终于启动好了 值得记录一下，本文源码启动是基于idea+jdk8+maven在windows上启动flink1.16源码。 （1）下载源码源码地址：https://github.com/apach ......
ArrayList 底层结构和源码分析
ArrayList 实现了 List 接口。它可以存储包括 null 的任何类型的对象，允许重复元素。ArrayList 在内部使用一个数组来存储元素，当元素数量超过数组容量时，ArrayList 会自动重新分配更大的内部数组，并且将现有元素复制到新数组中。ArrayList 基本等同于 Vecto... ......
CNCF Alibaba 云原生技术底层知识点以及核心概念
1、入门： 1.Kubernetes 并不支持为应用固定 IP，于是我自己通过编写网络插件把应用 IP 管理在了 etcd 里，然后上线。请问这破坏了云原生的理念了吗？AA. 否 B. 是 2.云原生技术与容器技术的关系是？ BA. 完全相同B. 容器技术是云原生的基础技术之一C. 没有关系 3.容 ......
聊聊Flink的必知必会(一)
Flink 是一个框架和分布式处理引擎，用于在无边界和有边界数据流上进行有状态的计算。Flink能在所有常见集群环境中运行，并能以内存速度和任意规模进行计算。 ......
mutate-joins {dplyr}：变异联接
可变联接将列从 y 添加到 x，并根据键值匹配行： inner_join()：包括 x 和 y 中的所有行。 left_join()：包括 x 中的所有行。 right_join()：包括 y 中的所有行。 full_join()：包括 x 或 y 中的所有行。 如果 x 中的一行与 y 中的多行匹 ......
实例讲解Flink 流处理程序编程模型
摘要：在深入了解 Flink 实时数据处理程序的开发之前，先通过一个简单示例来了解使用 Flink 的 DataStream API 构建有状态流应用程序的过程。 本文分享自华为云社区《Flink 实例：Flink 流处理程序编程模型》，作者：TiAmoZhang 。 在深入了解 Flink 实时数 ......