底层flink join
【线程基础】【二】join()方法详解
1 前言 看了wait()方法之后，我们再来讲讲join()方法，因为join()方法就是通过wait()方法实现的。 2 含义 让主线程等待（WAITING状态），一直等到其他线程不再活动为止。join在英语中是“加入”的意思，join()方法要做的事就是，当有新的线程加入时，主线程会进入等待状态 ......
flink
指定TM内存模型的方式整个TM内存模型可以通过三种方式来指定 通过指定 taskmanager.memory.task.heap.size 和 taskmanager.memory.managed.size来确定 通过指定 taskmanager.memory.flink.size 也就是 Tota ......
DBus API的使用(讲的很清晰，底层概念，基本api)
DBus是用来进行进程间通信的。下面这张图展示了一些DBus的大部分东西，但是它太复杂了： DBus 本身是构建在 Socket 机制之上。真正的通信还是由 Socket 来完成的。DBus 则是在这之上，制定了一些通信的协议，并提供了更高一层的接口，以更方便应用程序之间进行数据的交互。 在DB ......
JUC2_谈谈CAS5_CAS底层原理
CAS底层原理 概念 CAS的全称是Compare-And-Swap，它是CPU并发原语 它的功能是判断内存某个位置的值是否为预期值，如果是则更改为新的值，这个过程是原子的 CAS并发原语体现在Java语言中就是sun.misc.Unsafe类的各个方法。调用UnSafe类中的CAS方法，JVM会帮 ......
C++类的底层机理
我们首先从一个问题来阐明类的底层机理： 假如有一个类A，里面有一个成员函数get(),例如： class A { public: void get(); } A a; 那么a.get()表示什么呢？首先给出答案是get(&a),因为在类的底层机制中，成员函数的第一个参数都是一个指向该类数据结构的指针 ......
Java中线程的常用操作-后台线程、自定义线程工厂ThreadFactpry、join加入一个线程、线程异常捕获
场景 Java中Thread类的常用API以及使用示例： https://blog.csdn.net/BADAO_LIUMANG_QIZHI/article/details/126596884 上面讲了Thread的常用API，下面记录下线程的一些常用操作。 注： 博客： https://blog. ......
[Flink] Flink作业报错：Caused by: The connector is trying to read binlog starting at GTIDs ..., but this is no longer available on the server[转载]
这个问题，属于偶现问题。通常几个月才偶现一次。 因为上周五又出现了一次，且团队内多位小伙伴都遇到过。故此，这次特别记录下，以加强印象。 1 问题描述 Flink作业报错：Caused by: The connector is trying to read binlog starting at GTI ......
Flink零基础学习笔记(一)：基础概念
一、Apache Flink的定义、架构和原理 Apache Flink是一个分布式大数据处理引擎，可以对有限数据流和无限数据流进行有状态或无状态的计算，能够部署在各种集群环境，对各种规模大小的数据以内存速度进行快速计算。 接下来我们介绍一下这些关键词的意义。 处理无界和有界数据 任何数据都能形成一 ......
inner join查询出现两个相同的列
使用GROUP BY语句 可以使用GROUP BY语句将结果集按照指定的列进行分组，并对每个分组进行聚合操作。在使用GROUP BY语句时，需要将SELECT语句中选择的列和聚合函数中的列全部包含在GROUP BY子句中。 SELECT log_id,log_user_name,user_role, ......
记一次Flink遇到性能瓶颈
前言 这周的主要时间花在Flink上面，做了一个简单的从文本文件中读取数据，然后存入数据库的例子，能够正常的实现功能，但是遇到个问题，我有四台机器，自己搭建了一个standalone的集群，不论我把并行度设置多少，跑起来的耗时都非常接近，实在是百思不得其解。机器多似乎并不能帮助它。 把过程记录在此， ......
mysql left join 查询时主表为null统计count为0的解决方法(join后面加group by)
如果没有加group by 则会出UserCount为0外其它都是null select a.*,count(b.ID) as UserCount from erp_role as a left join erp_user as b on a.ID=b.RoleId where 1=1 and a. ......
Lecture#11 Joins Algorithms
1 Joins 在关系型数据库中，我们常常通过规范化 (Normalization) 设计避免信息冗余；因此查询时，就需要通过 Join 将不同 table 中的数据合并来重建数据。 本课关注双表的内等值连接。原则上我们希望，连接时将小表放到左侧 (作为外表)。 首先要讨论的是：Join 的输出和成 ......
Spring源码系列：初探底层，手写Spring
在学习 Spring 框架源码时，记住一句话：源码并不难，只需要给你各种业务场景或者项目经理，你也能实现自己的 Spring。虽然你的实现可能无法与开源团队相媲美，但是你肯定可以实现一个 0.0.1 版本。因此，初次阅读源码时，不要陷入太深的细节中,先了解大体逻辑，再仔细研读。 ......
初学Flink上传jar包出现报错Internal server error.---No data for required key 'port'
查看Job Manager里面的日志 发现错误，java.lang.RuntimeException: No data for required key 'port' 解决方法； 方法一：在Program Argument里添加主机名和端口号，该方法适合动态获取host和port的情况。 方法二：直 ......
Redis - 底层数据结构
Redis 构造了多种底层数据结构供使用，不同的数据类型有可能使用到多种底层数据结构存储，因此，需要理解为何 Redis 会有这样的设计，理解每个底层数据结构的概念之后，就能知晓在极端性能上如何做取舍。 ......
python 多线程使用中关于daemon和join的用途
我们在遇到 IO 耗时的时候，一般可以考虑使用到 python 的多线程操作，有的时候，我们主线程不必等待子线程运行结束，有的时候主线程需要等待子线程运行结束再执行主线程的逻辑，这里就涉及到 python 中的 daemon 和 join 的用途了。 在创建子线程时，考虑是否让子线程作为后台守护线程 ......
AOP底层原理-Cglib动态代理
public class App { public static void main(String[] args) { UserService userService = UserServiceCglibProxy.createUserServiceCglibProxy(UserServiceImp ......
分布式计算技术（下）：Impala、Apache Flink、星环Slipstream
实时计算的发展历史只有十几年，它与基于数据库的计算模型有本质区别，实时计算是固定的计算任务加上流动的数据，而数据库大多是固定的数据和流动的计算任务，因此实时计算平台对数据抽象、延时性、容错性、数据语义等的要求与数据库明显不同，面向实时计算的数据架构也就发展起来。本篇我们介绍面向交互式分析的计算引擎I ......
flink？
Flink是一种基于流数据流式处理引擎。与批处理不同，它的主要思想是数据流的概念，它可以被视为一系列连续的事件或记录，它们按照发生的时间顺序进行处理，而不是被分成离散的块进行处理。Flink可以接收无限数据流并实时处理它们，它的流式处理支持无限的数据流输入和输出，并且可以动态地对数据流进行处理和修改 ......
Mybatis-Plus详解（一篇带入了解底层原理）
一. MP简介 我们知道，Mybatis属于一个半自动的ORM框架。之所以说Mybatis是一个半自动的ORM框架，原因是它还需要我们自己在注解或是映射文件中编写SQL语句，并没有实现完全的自动化。SQL语句的编写，虽然增加了项目和业务需求实现的灵活性，但对一些基本表的操作而言，无疑增加了数据库操作 ......
【博学谷学习记录】超强总结，用心分享 | Flink的编程
【博学谷IT技术支持】 Flink的编程 编程步骤 构建流式处理环境 数据源 数据处理 数据输出 启用流式任务 Flink的算子 常用算子 Source算子：用于读取数据源，包括文件、Kafka、Socket等。 Map算子：用于对数据流中的每个元素进行转换操作，将输入流中的每个元素转换为输出流中的 ......
【博学谷学习记录】超强总结，用心分享 | Flink的安装部署
【博学谷IT技术支持】 Flink的安装部署 配置Flink 1. 编辑conf/flink-conf.yaml文件 vim conf/flink-conf.yaml 2. 需要修改的地方 rest.address: node1 rest.bind-address: node1 3.建议修改的地方， ......
Flink 生成ParquetFile
前言 这周主要是学习使用Flink, 其中有一部分学习的内容就是生成parquet。 Flink自身提供的文档写了个大概，但是真要自己动手去生成pqrquet文件，发现还是有些小坑，本文就是记录这些坑。 开始 官方文档总是最好的开始的地方, 下面是官方文档上面的内容 https://nightlie ......
C++ STL Unique 底层实现原理 - 代码
事实上在搜STL Unique的时候发现网上绝大部分都是错的，包括unique元素提到前面或者非unique元素提到后面。 Unique前后里面的元素是不一样的！！！ Unique前后里面的元素是不一样的！！！ Unique前后里面的元素是不一样的！！！ 我们来看代码 #include <bits/ ......
ERROR 658 (HY000): Proxy ERROR: Join internal error: Table 'mysql.proc' doesn'texist
ERROR 658 (HY000): Proxy ERROR: Join internal error: Table 'mysql.proc' doesn'texist 迁移数据库至TDSQL ，版本5.0到8.0,执行sql报错 现象 查了资料发现mysql8.0的mysql的proc表确实淘汰 ......
【Java 并发】【九】【AQS】【七】Semaphore信号量底层机制原理
1 前言 接下来我们来看看Semaphore，也是基于之前讲解的AQS来实现的，建立在AQS体系之上的一个并发工具类。 2 Semaphore是什么 Semaphore，它是一个信号量，主要作用是用来控制并发中同一个时刻执行的线程数量，可以用来做限流器，或者流程控制器。在创建的时候会指定好它有多少个 ......
程序化广告还有未来么？（4/5）——程序化领域变化的底层逻辑和反思
最近有一些做程序化广告业务的朋友和公司找我咨询，他们很困惑十年前那么时兴的DSP和ADX，最近三四年怎么忽然就不香了，广告主预算给的不像原来多，考核要求还特别多、特别苛刻。他们问程序化广告业务还有没有未来呢？接下来他们该何去可从。 这是一个很好的话题，我想了想之后问他们怎么理解程序化广告，要解答他们 ......
详解 Flink Catalog 在 ChunJun 中的实践之路
我们知道 Flink 有Table（表）、View（视图）、Function（函数/算子）、Database（数据库）的概念，相对于这些耳熟能详的概念，Flink 里还有一个 Catalog（目录） 的概念。 本文将为大家带来 Flink Catalog 的介绍以及 Flink Catalog 在 ......