语句clickhouse
ClickHouse(13)ClickHouse合并树MergeTree家族表引擎之CollapsingMergeTree详细解析
该引擎继承于MergeTree，并在数据块合并算法中添加了折叠行的逻辑。CollapsingMergeTree会异步的删除（折叠）这些除了特定列Sign有1和-1的值以外，其余所有字段的值都相等的成对的行。没有成对的行会被保留。因此，该引擎可以显著的降低存储量并提高SELECT查询效率。 简单来说就 ......
SQLSERVER 语句交错引发的死锁研究
一：背景 1. 讲故事 相信大家在使用 SQLSERVER 的过程中经常会遇到 阻塞 和 死锁，尤其是 死锁，比如下面的输出： (1 row affected) Msg 1205, Level 13, State 51, Line 5 Transaction (Process ID 62) was ......
Sentry 后端云原生中间件实践 ClickHouse PaaS ，为 Snuba 事件分析引擎提供动力
目录(脑图) ClickHouse PaaS 云原生多租户平台(Altinity.Cloud) 官网：https://altinity.cloud PaaS 架构概览 设计一个拥有云原生编排能力、支持多云环境部署、自动化运维、弹性扩缩容、故障自愈等特性，同时提供租户隔离、权限管理、操作审计等企业级能 ......
MyBatis的使用三(在sql语句中传值)
本文主要介绍在mybatis中如何在sql语句中传递参数 一. #{ } 和 ${ } 1. #{ } 和 ${ }的区别 #{ }是预编译处理 ==> PreparedStatement ${ }是字符串替换 ==> Statement mybatis在处理 #{ } 时，会将sql中的 # { ......
ClickHouse(12)ClickHouse合并树MergeTree家族表引擎之AggregatingMergeTree详细解析
AggregatingMergeTree引擎继承自 MergeTree，并改变了数据片段的合并逻辑。ClickHouse会将一个数据片段内所有具有相同主键（准确的说是排序键）的行替换成一行，这一行会存储一系列聚合函数的状态。 可以使用AggregatingMergeTree表来做增量数据的聚合统计， ......
Sqoop导出ClickHouse数据到Hive
背景 公司采购了外部服务，其存储为ClickHouse，按照公司要求需要将其数据采集到Hive。 验证环境 CDH: 6.3.2 ClickHouse: 19.15.4.10 Sqoop: 1.4.7 Driver 需要在脚本中明确指明所使用的Driver完整签名。 ClickHouse使用自定义协 ......
ClickHouse(11)ClickHouse合并树MergeTree家族表引擎之SummingMergeTree详细解析
SummingMergeTree引擎继承自MergeTree。区别在于，当合并SummingMergeTree表的数据片段时，ClickHouse会把所有具有相同主键的行合并为一行，该行包含了被合并的行中具有数值数据类型的列的汇总值。如果主键的组合方式使得单个键值对应于大量的行，则可以显著的减少存储 ......
MySQL join语句怎么优化？
在MySQL的实现中，Nested-Loop Join有3种实现的算法： 1、 Simple Nested-Loop Join：简单嵌套循环连接 2、 Block Nested-Loop Join：缓存块嵌套循环连接 3、 Index Nested-Loop Join：索引嵌套循环连接 MySQL ......
group by 语句怎么优化？
一、一个简单使用示例 我这里创建一张订单表 CREATE TABLE `order_info` ( `id` int NOT NULL AUTO_INCREMENT COMMENT '主键', `order_no` int NOT NULL COMMENT '订单号', `goods_id` int ......
order by 语句怎么优化？
说明 当前演示的数据库版本5.7 一、一个简单使用示例 先创建一张订单表 CREATE TABLE `order_info` ( `id` int NOT NULL AUTO_INCREMENT COMMENT '主键', `order_no` int NOT NULL COMMENT '订单号', ......
优化if...else...语句
写代码的时候经常遇到这样的场景：根据某个字段值来进行不同的逻辑处理。例如，不同的会员等级在购物时有不同的折扣力度。如果会员的等级很多，那么代码中与之相关的if...elseif...else...会特别长，而且每新增一种等级时需要修改原先的代码。可以用策略模式来优化，消除这种场景下的if...els ......
ClickHouse ORM 3.x 发布啦
经过1年断断续续的迭代，ClickHouse ORM 3.x 发布啦～说说它的故事吧。 回顾下2022 说来惭愧上次写博客都是22年4月份了，今年行情不好团队急剧收缩，工作几乎全扑在接手存量业务和主业务线开发之中。21年团队规模大的时候，可以有一部分时间做基建并且有一定的技术产出。22年变成了一边缩 ......
ClickHouse数据副本引擎
我的gitee地址：https://gitee.com/ddxygq/bigdata-technical-pai ，相关文章都放到这个仓库里了。 只有 MergeTree 系列里的表可支持副本： ReplicatedMergeTree ReplicatedSummingMergeTree Repli ......
Elasticsearch查询及聚合类DSL语句宝典
随着使用es场景的增多，工作当中避免不了去使用es进行数据的存储，在数据存储到es当中以后就需要使用DSL语句进行数据的查询、聚合等操作，DSL对SE的意义就像SQL对MySQL一样，学会如何编写查询语句决定了后期是否能完全驾驭ES，所以至关重要，本专题主要是分享常用的DSL语句，拿来即用。 ......
深入解读MySQL InnoDB存储引擎Update语句执行过程
参考b站up 戌米的论文笔记 https://www.bilibili.com/video/BV1Tv4y1o7tA/ 书籍《mysql是怎样运行的》 极客时间《mysql实战45讲》 系列文章目录和关于我 一丶Mysql整体架构 MySQL 可以分为 Server 层和存储引擎层两部分 1.Ser ......
Clickhouse表引擎探究-ReplacingMergeTree
作者：耿宏宇 1 表引擎简述 1.1 官方描述 MergeTree 系列的引擎被设计用于插入极大量的数据到一张表当中。数据可以以数据片段的形式一个接着一个的快速写入，数据片段在后台按照一定的规则进行合并。相比在插入时不断修改（重写）已存储的数据，这种策略会高效很多。 ReplacingMergeTr ......
Mybatis源码解析之执行SQL语句
作者：郑志杰 mybatis 操作数据库的过程 // 第一步：读取mybatis-config.xml配置文件 InputStream inputStream = Resources.getResourceAsStream("mybatis-config.xml"); // 第二步：构建SqlSes ......
Java开发学习(四十五)----MyBatisPlus查询语句之映射匹配兼容性
1、映射匹配兼容性 我们已经能从表中查询出数据，并将数据封装到模型类中，这整个过程涉及到一张表和一个模型类: 之所以数据能够成功的从表中获取并封装到模型对象中，原因是表的字段列名和模型类的属性名一样。那么问题就来了: 问题1:表字段与编码属性设计不同步 当表的列名和模型类的属性名发生不一致，就会导致 ......
Java开发学习(四十六)----MyBatisPlus新增语句之id生成策略控制及其简化配置
在前面有一篇博客：Java开发学习(四十一) MyBatisPlus标准数据层（增删查改分页）开发，我们在新增的时候留了一个问题，就是新增成功后，主键ID是一个很长串的内容。 我们更想要的是按照数据库表字段进行自增长，在解决这个问题之前，我们先来分析下ID该如何选择: 不同的表应用不同的id生成策略 ......
MySQL数据库：7、SQL常用查询语句
Python基础之MySQL数据库 一、SQL语句常用查询方法 前期数据准备 为了更加直观的展示、演示SQL语句查询关键字，需导入下列表格与记录（数据） 模拟公司，导入创建公司员工表，表内包含：ID、姓名、年龄、工作时间、岗位 创建人员表格: create table emp( id int ......
Flink同步Kafka数据到ClickHouse分布式表
公众号文章都在个人博客网站：https://www.ikeguang.com/ 同步，欢迎访问。 业务需要一种OLAP引擎，可以做到实时写入存储和查询计算功能，提供高效、稳健的实时数据服务，最终决定ClickHouse。 什么是ClickHouse？ ClickHouse是一个用于联机分析(OLAP ......