小记flink
Flink 读取 本地日志文件
Flink 读取 本地日志文件 在 Flink 中，可以使用 StreamExecutionEnvironment 的 readTextFile() 或者 addSource() 来读取本地日志文件。 使用 readTextFile() 方法读取本地日志文件示例如下所示： 点击查看代码 import ......
Flink实时处理入门
Flink实时处理入门 1、Flink框架介绍 Flink 诞生于欧洲的一个大数据研究项目 StratoSphere。它是由 3 所地处柏林的大学和欧洲其他一 些大学在 2010~2014 年共同进行的研究项目，由柏林理工大学的教授沃克尔·马尔科（Volker Markl）领衔开发。2019年1月阿 ......
斜率优化小记
发现别的人都对斜优很熟，就我不是（悲），所以写个小记辅助记忆一下。 1.应用范围 众所周知，单调队列优化 dp 可以解决形如 \(dp_i=val_i-val'_j\) 的问题 那么如果再加一个 \(val''_ival'''j\) 呢 这就要用斜率优化了。 2.方法 这东西非常灵活，所以直接上题目 ......
Android架构测试 套小记
Android架构测试主要是为了确保Android应用程序在不同设备和系统版本上的兼容性、性能和稳定性。这需要对应用程序的各个组件进行测试，包括活动、服务、广播接收器、内容提供程序等。以下是进行Android架构测试时可以采取的一些步骤： 单元测试：对应用程序的各个组件进行测试，确保它们能够正常工作 ......
WPF的DataGrid绑定DataTable调研小记
公司有个项目，界面很卡，同事怀疑是DataTable刷新引起的，我写了一个小Demo测试一下这块的性能。 测试的结果 DataTalbe的绑定非常的耗时 我的前台代码： <DataGrid Grid.Row="1" AutoGenerateColumns="True" BorderBrush="Li ......
Java版Flink（十一）时间语义和watermark
Java版Flink（十一）时间语义和watermark 一、时间语义 在Flink 中涉及到三个重要时间概念：EventTime、IngestionTime、ProcessingTime。 1.1、EventTime EventTime 表示日志事件产生的时间戳，每一条数据都会记录自己生产的时间。 ......
Flink中窗口的触发器、移除器、侧输出流
Flink中窗口的触发器、移除器、侧输出流 目录 1. 触发器（Trigger） 2. 移除器（Evictor） 3. 允许延迟（Allowed Lateness） 4. 将迟到的数据放入侧输出流 对于一个窗口算子而言，窗口分配器和窗口函数是必不可少的。除此之外，Flink 还提供 了其他一些可选的 ......
Flink的waterMark概念解释 watermark是flink为了处理event time窗口计算提出的一种机制，本质上就是一个时间戳，代表着比这个时间早的事件已经全部进入到相应的窗口，后续不会在有比这个时间小的事件出现，(触发)基于这个前提我们才有可能将event time窗口视为完整并触发窗口的计算。
Flink的waterMark概念解释 watermark是flink为了处理event time窗口计算提出的一种机制，本质上就是一个时间戳，代表着比这个时间早的事件已经全部进入到相应的窗口，后续不会在有比这个时间小的事件出现，(触发)基于这个前提我们才有可能将event time窗口视为完整并触 ......
作业8 流计算&Flink
一. 多选题（共5题，62.5分） 1. (多选题)典型的事件驱动型应用包括： A. 异常检测 B. 基于规则的报警 C. 反欺诈 D. 业务流程监控 我的答案: ABCD:异常检测; 基于规则的报警; 反欺诈; 业务流程监控;正确答案: ABCD:异常检测; 基于规则的报警; 反欺诈; 业务流程监 ......
Flink Metaspace OOM问题排查
错误日志 org.apache.flink.runtime.rest.handler.RestHandlerException: Could not execute application. at org.apache.flink.runtime.webmonitor.handlers.JarRun ......
安装HUE并配置连接Hive&Flink&TIDB
安装依赖包 yum install ant asciidoc cyrus-sasl-devel cyrus-sasl-gssapi cyrus-sasl-plain gcc gcc-c++ krb5-devel libffi-devel libxml2-devel libxslt-devel mak ......
小记 | 使用 PyInstaller 打包和交付 Python 项目
PyInstaller 可以将 Python 项目打包成一个可执行文件，或是一个文件夹，包含可执行文件以及依赖包。方便我们将 Python 项目交付给用户，方便用户使用的同时也可以一定程度的保护项目源代码。本文将介绍如何简单使用 PyInstaller 打包。 安装 使用 pip 安装即可： pip ......
Flink Sql线上环境踩坑记录
背景：Flink Sql程序本机测试执行没问题，上到生产环境就报各种诡异得问题，搞得头都大了。。。特此记录下解决过程。 问题原因主要两点： 1.JDK版本问题 2.Flink Sql相关jar包冲突 问题一 2020-09-27 06:06:33,125 INFO org.apache.flink. ......
Flink SQL建表语句示例
Hive CREATE EXTERNAL TABLE jc.judgmentDocumentods( odsId STRING, caseTitle STRING, plaintiff STRING, caseTypeShow INT, releaseDate STRING, caseSource ......
Flink Sql On Hive
TableEnvironment // ********************** // FLINK STREAMING QUERY // ********************** import org.apache.flink.streaming.api.environment.Stream ......
Flink写文件
简介 StreamingFileSink 提供了将数据分桶写入文件系统的功能。 如何分桶是可以配置，默认使用基于时间的分桶策略，每个小时创建一个新的桶，也可以自定义分桶策略。 文件滚动策略支持两种方式，基于时间和文件大小的DefaultRollingPolicy策略和基于Flink检查点的OnChe ......
安装HUE并配置连接Hive&Flink&TIDB
创建用户 groupadd hadoop useradd -g hadoop hadoop 解压编译 wget https://cdn.gethue.com/downloads/hue-4.8.0.tgz PREFIX=/usr/share make install 集成Hive Conf 在/op ......
HUE中执行Flink SQL
要解决的问题 解决HUE操作大数据量Hive表时，执行报错的问题。 为开发人员或数据管理人员提供一个便捷的Flink SQL交互式查询工具，简化SQL验证的流程，进而提高工作效率。 功能介绍 Flink SQL 读写Kafka Flink SQL 读写HDFS Flink SQL 关联 Flink ......
flink小记
Flink核心概念 1、Flink是为分布式、高性能、随时可用以及准确的流处理应用程序打造的开源流处理框架 2、Flink底层是以Java编写的，并为开发人员同时提供了完整的Java和Scala API。 3、Flink运行时包括JobManager（Master）和TaskManager（Work ......
hive小记
Hive介绍 1、Hadoop是由java语言编写的，在分布式服务器集群上存储海量数据并运行分布式分析应用的开源框架 2、Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射成一张表，并提供类SQL查询功能 3、Hive处理的数据存储在HDFS，底层实现是MapReduce，执行 ......
nebula小记
为什么要用GraphDB 1、图数据库是专门用于存储和检索庞大信息网的存储引擎，能够高效将数据存储为点和边，并允许对这些点边结构进行高性能的检索。 2、关系型数据库在处理复杂数据关联运算上表现很差，数据库建模复杂，数据量大时有性能问题，多度关系查询开销大。 3、图数据库相对关系型数据库的优点：建模简 ......
python小记
特殊变量 双下划线开头，双下划线结尾的变量和方法 双下划线开头，双下划线结尾的变量是特殊变量，特殊变量是可以直接访问的，不要随意取这种形式的变量名。 双下划线开头，双下划线结尾的方法是特殊方法，有特殊用途，比如__init__会在初始化实例的时候被调用，__del__在引用计数为0时被调用，__eq ......
redis小记
redis 1、redis是一款c语言编写的基于内存的kv存储，是目前市面上最流行的nosql开源项目，常用于缓存场景（优点高性能/寻址更快，缺点易失存储/价格更高） 2、redis快的原因：纯内存操作、单线程避免上下文切换、采用非阻塞IO多路复用机制（1个线程监控多个连接，一旦某个连接就绪，就能够 ......
scala小记
scala和java 1、scala是基于java开发的，以jvm为运行环境，将面向对象和函数式编程结合起来的静态编程语言。 2、scala是面对对象的语言，万物皆对象，对象的本质是对数据和行为的封装（对象/属性/行为） 3、scala是函数式的语言，万物皆函数，函数是将解决问题的一个个步骤的封装， ......
spark小记
Spark介绍 1、Spark 是一种由 Scala 语言开发的基于内存的快速/通用/可扩展的大数据分析计算引擎。 2、Spark Core中提供了Spark最基础与最核心的功能。Spark SQL 是 Spark 用来操作结构化数据的组件。 3、MLlib 是 Spark 提供的一个机器学习算法库 ......
一些小记
美剧： 艾米丽在巴黎 刘瑜 观念的水位 李银河：女性主义 《看见成长的自己》 复旦大学 沈奕裴老师 讲座：是什么阻挡了我们相亲相爱 张悦然 顿悟的时刻 纪录片 河西走廊、神秘的西夏 博尔赫斯 诗 我用什么才能留住你 黄灿然 奇迹集 樊登解读： 恰如其分的自尊 人生有很多象限。 很多成功人士其实也是低 ......
Flink 简介
Apache Flink是一个分布式流处理器，具有直观和富有表现力的API，可实现有状态的流处理应用程序。它以容错的方式有效地大规模运行这些应用程序。 Flink于2014年4月加入Apache软件基金会作为孵化项目，并于2015年1月成为顶级项目。从一开始，Flink就拥有一个非常活跃且不断增长的 ......
flink小记
Flink核心概念 1、Flink是为分布式、高性能、随时可用以及准确的流处理应用程序打造的开源流处理框架 2、Flink底层是以Java编写的，并为开发人员同时提供了完整的Java和Scala API。 3、Flink运行时包括JobManager（Master）和TaskManager（Work ......
python小记
特殊变量 双下划线开头，双下划线结尾的变量和方法 双下划线开头，双下划线结尾的变量是特殊变量，特殊变量是可以直接访问的，不要随意取这种形式的变量名。 双下划线开头，双下划线结尾的方法是特殊方法，有特殊用途，比如__init__会在初始化实例的时候被调用，__del__在引用计数为0时被调用，__eq ......