工具 技术pmp 5.7
大数据下一代变革之必研究数据湖技术Hudi原理实战双管齐下-中
本篇详细描述hoodie数据读写流程，进一步加深对数据湖技术的理解。理论后转战集成Spark的使用，通过spark-shell和spark-sql实现hoodie的插入数据、查询数据、更新数据、删除数据、覆盖数据、时间旅行查询等示例，了解创建表、修改表结构、查询分区、删除分区基本用法，为进一步使用奠... ......
大数据下一代变革之必研究数据湖技术Hudi原理实战双管齐下-下
本篇演示了Hudi集成Spark的Scala编程示例，并一步步操作说明如何使用DeltaStreamer从Kafka里读取数据写入到Hudi表的HDFS中，接着集成Flink的环境准备，通过基于yarn-session的Flink的sql-client方式提交任务实现插入数据和流式读取数据，了解字节... ......
大数据下一代变革之必研究数据湖技术Hudi原理实战双管齐下-后续
本篇实战Hudi集成Flink SQl编程示例实现从生成器表写入Hudi表，打包集群验证；然后通过Hudi Flink CDC实现采集MySQL binlog日志写入Kafka再入到hudi表的完整示例，了解Hudi Flink的基础调试只是，最后通过Hudi集成Hive实现Flink Hive C... ......
MySQL 性能压测工具-sysbench，从入门到自定义测试项
sysbench是一个开源的、基于LuaJIT（LuaJIT 是 Lua 的即时编译器，可将代码直接翻译成机器码，性能比原生 lua 要高） 的、可自定义脚本的多线程基准测试工具，也是目前用得最多的 MySQL 性能压测工具。 基于 sysbench，我们可以对比 MySQL 在不同版本、不同硬件配 ......
TreeUtils工具类一行代码实现列表转树【第三版优化】 三级菜单 三级分类 附视频
一、序言 在日常一线开发过程中，总有列表转树的需求，几乎是项目的标配，比方说做多级菜单、多级目录、多级分类等，有没有一种通用且跨项目的解决方式呢？帮助广大技术朋友给业务瘦身，提高开发效率。 本文将基于Java8的Lambda 表达式和Stream等知识，使用TreeUtils工具类实现一行代码完成列 ......
Redux 的困扰与如何技术选型
文章的名字我想了很久，备选项有“我再不推荐 Redux”，“Redux 为什么令我头疼”，“Redux 进化启示录”等等。通过这一系列名字我想你大概能猜到我接下来想聊的问题是什么 ......
基于Spring-AOP的自定义分片工具
作者：陈昌浩 1 背景 随着数据量的增长，发现系统在与其他系统交互时，批量接口会出现超时现象，发现原批量接口在实现时，没有做分片处理，当数据过大时或超过其他系统阈值时，就会出现错误。由于与其他系统交互比较多，一个一个接口做分片优化，改动量较大，所以考虑通过AOP解决此问题。 2 Spring-AOP ......
技术管理之如何协调加班问题
今天刚好跟一个前同事聊一些以前加班的事情，他跟我吐槽公司加班的问题，但我管理的技术部门一直没怎么加班。就想起来之前为了达成这件事做的一些努力，本来想细说，但他好像不太感兴趣，结果我自己憋了一肚子话，不吐不快，不如分享给其他人吧。所以特此写了这一篇。 1，不加班的基本原则 原则上尽可能不加班，是为了把 ......
谈谈我的「数字文具盒」 - 生产力工具（上）
在完成了数字基建、运行平台的搭建后，迎来应用服务 - 生产力工具的搭建；生产力工具主要从公共服务、工具、程序开发三个方面来说。由于全文篇幅字数较多，故分为上下两篇分开阅读。 博客 博客（Blog）是一种在线日记形式的个人网站，借由博文、图片或视频来记录生活、抒发情感或分享信息，能够让读者以互动的方式 ......