source flink sink amp
onyxlang 简单包创建&使用
onyxlang 支持包，提供了基于git 的模式，以下是一个简单试用 创建包 初始化 onyx package init 添加配置 按照官方的介绍，一个包需要包含代码（git repo），onyx-pkg.kdl 文件，module.onyx 文件 onyx-pkg.kdl 上边初始化的时候已经创 ......
Flink Metaspace OOM问题排查
错误日志 org.apache.flink.runtime.rest.handler.RestHandlerException: Could not execute application. at org.apache.flink.runtime.webmonitor.handlers.JarRun ......
安装HUE并配置连接Hive&Flink&TIDB
安装依赖包 yum install ant asciidoc cyrus-sasl-devel cyrus-sasl-gssapi cyrus-sasl-plain gcc gcc-c++ krb5-devel libffi-devel libxml2-devel libxslt-devel mak ......
高级用法之source与 SerializerMethodField
高级用法之source 1 修改返回到前端的字段名 # source=title 字段名就不能再叫title name = serializers.CharField(max_length=32,min_length=2,source='title')2 如果表模型中有方法 # 执行表模型中的tes ......
【Spring】@Async & @Schedule
代码位置： spring-context\src\main\java\org\springframework\scheduling\annotation 实现原理： 有对应的BeanPostProcessor实现类 @Async + @EnableAsync 1. 在方法上使用@Async注解，申明 ......
Flink Sql线上环境踩坑记录
背景：Flink Sql程序本机测试执行没问题，上到生产环境就报各种诡异得问题，搞得头都大了。。。特此记录下解决过程。 问题原因主要两点： 1.JDK版本问题 2.Flink Sql相关jar包冲突 问题一 2020-09-27 06:06:33,125 INFO org.apache.flink. ......
Flink SQL建表语句示例
Hive CREATE EXTERNAL TABLE jc.judgmentDocumentods( odsId STRING, caseTitle STRING, plaintiff STRING, caseTypeShow INT, releaseDate STRING, caseSource ......
Flink Sql On Hive
TableEnvironment // ********************** // FLINK STREAMING QUERY // ********************** import org.apache.flink.streaming.api.environment.Stream ......
星型模型&雪花模型
数据集市（Data Mart）也有称ADS（Application Data Store），数据集市将主题层和基础层的数据按照各业务的实际需求进行聚合，形成宽表或数据立方体（Cube），可直接供业务部门和数据分析团队使用。 数据集市中主要存在的是事实表（fact）和维度表（dimension）。 事 ......
Nginx部署网站&Docker&自动更新部署
一 搭建web服务器 lsb_release -a # 查看Linux版本 Linux不同版本的操作方式会有所不同，注意区分。我是在阿里云买的，用的是AlibabaCloud，所以文章的大部分命令会以这个系统为准。 1.1 安装与启动Nginx # Debian/Ubuntu apt install ......
Parquet格式文件读写&合并小文件
Parquet格式文件读写 依赖工具parquet-tools： parquet-tools-1.6.0rc3-SNAPSHOT.jar 查看结构： java -jar parquet-tools-1.6.0rc3-SNAPSHOT.jar schema -d pane-0-00000-of-000 ......
MySQL - 分布式部署&主从复制&读写分离
Step1：基础环境准备 虚拟机环境：VMware workstation 服务器信息： 主机名 IP 操作系统 node01 192.168.1.131 CentOS Linux release 7.9.2009 (Core) node02 192.168.1.132 CentOS Linux r ......
CF331A1&CF331A2
不难发现一件事：对于在 \(i\) 之后能跟 \(i\) 匹配的 \(j\)，最好的办法显然是使得 \(j\) 最大。则用前缀和统计整个和，并且用前缀和维护负数和，在枚举 \(i\) 统计出最小答案时在后面计算出满足最大答案的条件并输出即可。 ac records #include<bits/std ......
屎山代码风格指南（避免被优化&&避免被接盘）
欢迎补充！！！ 序言 良好的代码结构：Bad 👎🏻 使用有意义的变量和函数名，遵循命名规范，使代码易于理解。 组织代码，使用适当的文件和文件夹结构，保持模块化。 避免全局变量的滥用，尽量使用局部作用域。 单一职责原则：Bad 👎🏻 每个函数或模块应该只负责一个特定的功能。这样的设计使得代码更 ......
Flink写文件
简介 StreamingFileSink 提供了将数据分桶写入文件系统的功能。 如何分桶是可以配置，默认使用基于时间的分桶策略，每个小时创建一个新的桶，也可以自定义分桶策略。 文件滚动策略支持两种方式，基于时间和文件大小的DefaultRollingPolicy策略和基于Flink检查点的OnChe ......
安装HUE并配置连接Hive&Flink&TIDB
创建用户 groupadd hadoop useradd -g hadoop hadoop 解压编译 wget https://cdn.gethue.com/downloads/hue-4.8.0.tgz PREFIX=/usr/share make install 集成Hive Conf 在/op ......
HUE中执行Flink SQL
要解决的问题 解决HUE操作大数据量Hive表时，执行报错的问题。 为开发人员或数据管理人员提供一个便捷的Flink SQL交互式查询工具，简化SQL验证的流程，进而提高工作效率。 功能介绍 Flink SQL 读写Kafka Flink SQL 读写HDFS Flink SQL 关联 Flink ......
User-defined Sources & Sinks
Dynamic tables are the core concept of Flink’s Table & SQL API for processing both bounded and unbounded data in a unified fashion. Because dynamic ta ......
DataX试用Mongo→Hdfs&Hdfs→Mongo
安装 下载安装包 wget http://datax-opensource.oss-cn-hangzhou.aliyuncs.com/datax.tar.gz 解压即可 配置 生成模板 python ./datax.py -r hdfsreader -w mongodbwriter python . ......
swoosh elixir 方便的邮件发送&测试客户端.
swoosh提供了多中邮件平台的adapter ，可以方便的进行邮件的测试，发送，还包含了对于phoenix 的集成同时还包含了一个方便的本地邮箱预览服务 参考资料 https://github.com/swoosh/swooshhttps://hexdocs.pm/swoosh ......
biscuit 委托&去中心化&基于功能的授权令牌
基于token 的认证在微服务，以及api 安全中是比较常见的，大家使用比较多的是jwt，但是目前大家对于jwt 吐槽的地方是越来越多了（核心还是和安全有一些关系） 包含的特性 去中心化的校验 基于了公钥模式 离线减弱 核心是可以基于一个校验过的key，生成新的权限小的key（适合权限委托） dat ......
Rocketmq学习1——Rocketmq架构&消息存储&刷盘机制
系列文章目录和关于我 一丶什么是Rocketmq RocketMQ是一款开源的分布式消息中间件，由阿里巴巴团队最初开发，并于2016年贡献给Apache软件基金会，后成为Apache顶级项目。RocketMQ设计用于处理高并发、高吞吐量的场景，支持丰富的消息交互模式。 以下是RocketMQ的一些关 ......
Linux - 配置IP&主机名的快捷操作
nmtui 执行以下命令可以进入一个可视化界面，进行IP的可视化配置、以及网络服务的重启（注意,这个重启是停止然后启动, 如果使用xshell进行操作会失去ssh连接,直连服务器时可这直接操作）、主机名的修改 nmtui nmcli # 以下命令可以将网卡ens160的ip修改为192.168.4. ......
【算法设计与分析】(二)分治_更新中①：二分搜索、计数、选择、最近点对、凸包、多项式乘法、矩阵乘法、主定理&递归树、傅里叶。苏大计科院研一期末复习笔记
写在前面 首先，本人很菜。 其次，本文只也许够应付考试，个人使用。而且其实就是ppt内容只是我自己喜欢这样整理。虽然全力理解内容且认真书写但也可能存在错误，如有发现麻烦指正，谢谢🌹 最后，因为不知道考试怎么考，本人的复习方式是照着目录讲一遍自己的理解+写伪代码（如果来的及会再做一个综合纯享版），再 ......
游戏AI入门书籍《AI for Games》推荐 & 当我读《AI for Games》时我在想什么
写在前面 这本书长这样 此书第3版已经不再提供源码，第2版源码可参考作者G站。 此书第3版的中文版叫《游戏中的人工智能》（有电子版），但部分翻译不准确，建议还是中英对照阅读。 此书无官方勘误，有位热心读者自己建了第2版勘误。 推荐理由 目前我看到讲游戏AI书籍中最照顾读者的书。我开始接触游戏AI的情 ......
Python 深拷贝&浅拷贝
Python中的深拷贝和浅拷贝 在Python中，对象的拷贝是一个常见的操作。Python提供了两种拷贝方式：深拷贝和浅拷贝。了解这两种拷贝方式的概念和使用场景，有助于我们正确处理对象的拷贝问题。 1. 浅拷贝 浅拷贝是指创建一个新对象并将原始对象的引用复制到新对象中。新对象和原始对象共享内部对象的 ......
【永久置顶】博客说明&目录
本博客为very_easy的博客，洛谷的题解没有搬运，主要是因为没意义其实就是懒得搬，因此本博客记录本人新的题解（不一定 \(100\%\)），随笔（既杂文）以及一些其他的东西。 目录 题解 AT_abc335_a 题解 AT_abc335_b 题解 ......
flink小记
Flink核心概念 1、Flink是为分布式、高性能、随时可用以及准确的流处理应用程序打造的开源流处理框架 2、Flink底层是以Java编写的，并为开发人员同时提供了完整的Java和Scala API。 3、Flink运行时包括JobManager（Master）和TaskManager（Work ......
Error:(4, 13) java: -source 1.5 中不支持默认方法 (请使用 -source 8 或更高版本以启用默认方法)
Error:(4, 13) java: -source 1.5 中不支持默认方法 (请使用 -source 8 或更高版本以启用默认方法) 检查 ......
【WALT】update_cpu_busy_time() 代码详解 & busytime 路径负载计算
@目录【WALT】update_cpu_busy_time() 代码详解代码展示代码逻辑⑴ 更新标志位⑵ 滚动窗口⑶ 不累加运行时间的条件判断⑶ 任务处于 grp（相关线程组 related_thread_group）中⑷ 仍在旧窗口中⑸ 进入新窗口⑹ 更新 top taskfixup_busy_t ......