flink keyed state
配置SSH-Key远程免密访问云服务器和GitHub
之前一直是将这类开发环境配置步骤记录在GitHub的一个repo上，考虑将这类非频繁使用但又偶尔配置一次的事务做成一个repo知识库，但是GitHub经常打不开，访问起来又麻烦，而且修改起来还需要git管理，做一些图文交叉的blog也不方便。所以2024年开始还是在博客园更新吧，也方便随时索引浏览。 ......
flink小记
Flink核心概念 1、Flink是为分布式、高性能、随时可用以及准确的流处理应用程序打造的开源流处理框架 2、Flink底层是以Java编写的，并为开发人员同时提供了完整的Java和Scala API。 3、Flink运行时包括JobManager（Master）和TaskManager（Work ......
Vue2入门之超详细教程十三-key的作用与原理
Vue2入门之超详细教程十三-key的作用与原理 1、简介 React、Vue中的key有什么作用？ 1.虚拟DOM中key的作用： key是虚拟DOM对象的标识，当状态中的数据发生变化时，Vue会根据[新数据]生成[新的虚拟DOM]，随后Vue进行[新虚拟DOM]的差异比较，比较规则如下： ......
Flink 简介
Apache Flink是一个分布式流处理器，具有直观和富有表现力的API，可实现有状态的流处理应用程序。它以容错的方式有效地大规模运行这些应用程序。 Flink于2014年4月加入Apache软件基金会作为孵化项目，并于2015年1月成为顶级项目。从一开始，Flink就拥有一个非常活跃且不断增长的 ......
for in 和 Object.keys()的区别
for in 和 Object.keys() 都能遍历对象的属性名，但是他们有什么区别呢？ 我们先看示例：定义了一个 obj 对象，同时在对象的原型链上添加了一个新属性 sex，对obj分别使用这两种方法有何不同？ 可以看到 Object.keys() 对obj对象做了遍历操作 返回了一个数组，且数 ......
flink小记
Flink核心概念 1、Flink是为分布式、高性能、随时可用以及准确的流处理应用程序打造的开源流处理框架 2、Flink底层是以Java编写的，并为开发人员同时提供了完整的Java和Scala API。 3、Flink运行时包括JobManager（Master）和TaskManager（Work ......
component lists rendered with v-for should have explicit keys.
报错 component lists rendered with v-for should have explicit keys. vue2项目启动告警 告警信息 Module Warning (from ./node_modules/@vue/vue-loader-v15/lib/loaders/ ......
Flink的常用算子以及实例（详解）(赞)
Flink的常用算子以及实例（详解）(赞) 友情提示：本次博文所有源码均在下方，点击关注就能下载，免费的 点这里获取配套源码 1. map 特性：接收一个数据，经过处理之后，就返回一个数据 1.1. 源码分析 我们来看看map的源码 map需要接收一个MapFunction<T,R>的对象，其中泛型 ......
11-flink如何正确分流
11-flink如何正确分流 11-flink如何正确分流 分流方式 filter分流 split分流 (只能一次分流，分流后的流不能继续分流) side output分流 (推荐使用) 场景 flink-分流场景.png 输入数据： {"key":"001","type":"1","data":" ......
Flink SideOutput 和 Filter 分流对比
Flink SideOutput 和 Filter 分流对比 Flink 分流有Filter、Split（已经废弃移除）、Side Output进行分流，到底时有什么区别，哪个种更好呢？ 对比 代码对比 直接上代码对比： import org.apache.flink.streaming.api.d ......
flink入门1-Flink使用socketTextStream对接netcat完成入门demo
flink入门1-Flink使用socketTextStream对接netcat完成入门demo 一、flink介绍 1、flink是什么 flink是一个面向流处理和批处理的分布式计算框架，即支持流处理，也支持批处理。flink基于流处理引擎实现，正真做到了流处理，将批处理看作一种特殊的有界流fl ......
Flink CDC写入数据到kafka几种格式
Flink cdc写入kafka数据格式 主要记录flink cdc写入kafka几种常见的数据格式，其中包括upsert-kafka写入后正常的json格式，debezium-json格式以及changelog-json格式。 upsert-kafka 正常json数据格式 -- insert 操 ......
v-for 为什么要加 key，key的作用是什么
v-for 为什么要加 key： 1. vue中列表循环需加:key="唯一标识" 唯一标识尽量是item里面id等，因为vue组件高度复用增加Key可以标识组件的唯一性，为了更好地区别各个组件 key的作用主要是为了高效的更新虚拟DOM 2.标签名一样，key一样这时候就会就地复用，如果标签名不一 ......
状态模式（state）
1 #include <iostream> 2 #include <string> 3 #include <map> //用户名，用户的下载 4 using namespace std; 5 6 class DownloadManager; 7 class DownState { 8 public: ......
Flink-postgres-cdc实时同步报错：无法访问文件 "decoderbufs": 没有那个文件或目录
问题描述： Caused by: org.postgresql.util.PSQLException: 错误: 无法访问文件 "decoderbufs": 没有那个文件或目录 解决办法： postgres-cdc的属性问题： 'slot.name' = 'myslot','decoding.plug ......
Spring Boot环境里批量删除匹配的key
在Spring Boot环境中使用org.springframework.data.redis.core.RedisTemplate删除匹配的key可以按照以下步骤实现。首先，您需要创建一个方法，该方法接受一个字符串参数，然后通过RedisTemplate查询所有匹配的key，并删除它们。 下面是一 ......
5、flink任务中可以使用哪些转换算子（Transformation）
5、flink任务中可以使用哪些转换算子（Transformation） <div id="content_views" class="htmledit_views"> <h1>1、什么是Flink中的转换算子</h1> 在使用 Flink DataStream API 开发流式计算任务时，可以将一 ......
Flink-Flink1.15启动后无法访问WebUI界面
问题描述通过./bin/start-cluster.sh启动Flink程序，正常启动后无法通过浏览器访问web UI界面。解决方法（1）禁用防火墙通过service iptable status查看防火墙状态，已经为inactive状态（2）查看暴露端口号通过lsof -i:8081查看端口号是否暴 ......
map的按key排序与按value排序
简述 map是用来存放<key, value>键值对的数据结构，可以很方便快速的根据key查到相应的value。假如存储学生和其成绩（假定不存在重名，当然可以对重名加以区分），我们用map来进行存储就是个不错的选择。 我们这样定义，map<string, int>，其中学生姓名用string类型，作 ......
练习 ： Flink 读取 data.txt（json格式文件）文件并进行解析，写入到mysql中
练习 ： Flink 读取 data.txt（json格式文件）文件并进行解析，写入到mysql中 bean //实体类 mysql的一条记录 package bean; import lombok.AllArgsConstructor; import lombok.Data; import lom ......
性能测试-Oceanus 测试FLink mysql到Iceberg性能
一、任务依赖信息 1、mysql测试库信息 地址：127.0.0.1、gomysql_bdg_test 库：bdg_test 表：order_info1 2、iceberg库 hive地址：thrift://127:7004 catalog-name：spark_catalog Format版本:v ......
xPU pipeline and state machine
xPU pipeline and state machine 一般的状态机 序号 特点 1 多个状态在多周期之间转换 2 每个状态独占一个周期 3 活跃资源为 1/N （N为状态数量） 4 资源利用率低 混合:宏观流水线，內嵌多周期状态机 序号 特点 1 多个状态机之间组成流水线 2 每个流水线內的 ......
Flink侧输出流解析
在实时数据处理领域，Apache Flink 已成为一个不可或缺的工具。它以其高吞吐量和低延迟处理能力而闻名。而在 Flink 的众多特性中，侧输出流（Side Outputs）提供了一种灵活的方式来处理复杂的数据流。本文将探讨如何在 Flink 的 Scala API 中有效使用侧输出流。 1. ......
【Flink系列二十一】深入理解 JVM的类型加载约束，解决 Flink 类型加载冲突问题的通用方法
class ByteArrayDeserializer is not an instance of org.apache.kafka.common.serialization.Deserializer Debugging Classloading 类似的 X cannot be cast to X ......
【五期杨志】CCF-A（CVPR'22） Dual-Key Multimodal Backdoors for Visual Question Answering
Walmer M, Sikka K, Sur I, et al. Dual-Key Multimodal Backdoors for Visual Question Answering[C]//Proceedings of the IEEE/CVF Conference on Computer Vi ......
IDX10720: Unable to create KeyedHashAlgorithm for algorithmHS256'. the key size must be greater than: '256' bits, key has '152' bits. Arg ParamName Name
概述 这个问题出现是在升级自己项目.NET8版本出现的；升级后重新登陆 jwt创建token 报错，意思是密钥需要超过 256 bit，即 设定得密钥太短了 解决方案：密钥加长 水一篇。。。 ......
flink中的setStreamTimeCharacteristic 指定为EventTime的source需要自己定义event time以及emit watermark，或者在source之外通过assignTimestampsAndWatermarks在程序手工指定
flink中的setStreamTimeCharacteristic TimeCharacteristic env.setStreamTimeCharacteristic(TimeCharacteristic.EventTime) 此处可以取以下三类值： Event Time 事件时间，事件(Eve ......
Flink mysql-cdc连接器参数
一、背景 通过Flink同步mysql到iceberg中，任务一直在运行中，但是在目标表看不到数据。经排查发现job manager一直在做切片，日志如下： 2023-12-28 16:58:36.251 [snapshot-splitting] INFO com.ververica.cdc.con ......
Flink实验
题目： 实验八 姓名 日期12.8 实验环境：（1）Ubuntu18.04（或Ubuntu16.04）。 （2）IntelliJ IDEA。 （3）Flink1.9.1。 实验内容与完成情况：（1）使用IntelliJ IDEA工具开发WordCount程序 在Linux系统中安装IntelliJ ......
PBKDF2（Password-Based Key Derivation Function 2）算法
一、引言 在当今数字时代，保护用户数据和隐私的安全变得越来越重要。为实现这一目标，加密和密钥管理技术发挥着关键作用。PBKDF2（Password-Based Key Derivation Function 2）算法作为一种基于密码的密钥生成方法，广泛应用于各种安全场景。本文将从各个方面介绍和解释P ......