doris
测试 doris stream load 数据流
root@tc-doris-fe-1:~# vim data.csv root@tc-doris-fe-1:~# curl --location-trusted -u root -T ./data.csv -H "label:label_example" -H "column_separator:, ......
doris用户权限管理
Doris 用户权限和MySQL相差不多，在Doris中，GRANT 命令用于赋予指定用户或角色指定的权限。 使用语法如下: GRANT privilege_list ON db_name[.tbl_name] TO user_identity [ROLE role_name] GRANT priv ......
doris创建用户
创建用户，赋予所有权限 CREATE USER 'sysdba' IDENTIFIED BY 'Tsl@142536'; GRANT ALL ON *.*.* TO 'sysdba'@'%'; ......
用 CloudCanal 快速验证阿里云 EMR for StarRocks 和 Doris
背景 StarRocks 和 Doris 是近两年来相当流行的、国产的、开源的实时数仓，不仅数据检索、分析能力出众，而且数据准备实时性好、准确度高、使用丝滑，可如同在线数据库般使用。 CloudCanal 在早期即支持此两种实时数仓，并且经过多次迭代，无论功能、性能、稳定性都趋于成熟。 不过正儿八经 ......
聊聊分布式 SQL 数据库Doris(九)
优化器的作用是优化查询语句的执行效率，它通过评估不同的执行计划并选择最优的执行计划来实现这一目标。 CBO: 一种基于成本的优化器，它通过评估不同查询执行计划的成本来选择最优的执行计划。CBO会根据数据库系统定义的统计信息以及其他因素，对不同的执行计划进行评估，并选择成本最低的执行计划。CBO的目标 ......
聊聊分布式 SQL 数据库Doris(八)
稀疏索引 密集索引：文件中的每个搜索码值都对应一个索引值，就是叶子节点保存了整行. 稀疏索引：文件只为索引码的某些值建立索引项. 稀疏索引的创建过程包括将集合中的元素分段，并给每个分段中的最小元素创建索引。在搜索时，先定位到第一个大于搜索值的索引的前一个索引，然后从该索引所在的分段中从前向后顺序遍历 ......
聊聊分布式 SQL 数据库Doris(七)
LSM-Tree Doris的存储结构是类似LSM-Tree设计的，因此很多方面都是通用的，先阅读了解LSM相关的知识，再看Doris的底层存储与读取流程会清晰透彻很多，如下是几个关键的设计: SSTable: Sorted Strings Table; 一般由一组数据block和一组元数据bloc ......
聊聊分布式 SQL 数据库Doris(六)
负载均衡 此处的负载均衡指的是FE层的负载均衡. 当部署多个 FE 节点时，用户可以在多个 FE 之上部署负载均衡层来实现 Doris 的高可用。官方文档描述: 负载均衡 。 实现方式 实现方式有多种，如下列举。 开发者在应用层自己进行重试与负载均衡。 JDBC Connector 发现一个连接挂掉 ......
聊聊分布式 SQL 数据库Doris(五)
阅读 Doris SQL 原理解析，总结下Doris中SQL解析流程： 词法识别：解析原始SQL文本，拆分token 语法识别：将token转换成AST 单机逻辑查询计划：将AST经过一系列的优化（比如，谓词下推等）成查询计划，提高执行性能与效率。 分布式逻辑查询计划：根据分布式环境（数据分布信息、 ......
聊聊分布式 SQL 数据库Doris(四)
FE层的架构都能在网上找到说明. 但BE层的架构模式、一致性保障、与FE层之间的请求逻辑，数据传输逻辑等，我个人暂时没有找到相应的博客说明这些的。当然这些是我个人在学习与使用Doris过程中，对内部交互逻辑与实现感兴趣才有这些疑问. 还好现在有GPT这类大模型，有了疑问，只要问题描述得当，大多可以解 ......
聊聊分布式 SQL 数据库Doris(三)
详细内容阅读: Apache Doris 分区分桶新功能 与 数据划分. 在此基础上做总结与延伸. 在 Doris 的存储引擎规则: 表的数据是以分区为单位存储的，不指定分区创建时，默认就一个分区. 用户数据首先被划分成若干个分区（Partition），划分的规则通常是按照用户指定的分区列进行范围划 ......
聊聊分布式 SQL 数据库Doris(二)
Doris中，Leader节点与非Leader节点和Observer节点之间的元数据高可用和一致性，是通过bdbje(全称:Oracle Berkeley DB Java Edition)的一致性和高可用实现的。 元数据与同步流程 元数据主要存储四类数据： 用户数据信息. 包括数据库, 表的sche ......
聊聊分布式 SQL 数据库Doris(一)
MPP MPP:Massively Parallel Processing, 即大规模并行处理. 一般用来指多个SQL数据库节点搭建的数据仓库系统. 执行查询的时候, 查询可以分散到多个SQL数据库节点上执行, 然后汇总返回给用户. Doris Doris 作为一款开源的 MPP 架构 OLAP 高 ......
陈长城：NineData面向Doris实时数仓集成的技术实践
在刚刚过去的北京Doris Summit Asia 2023，玖章算术技术副总裁陈长城受邀参加并做了《NineData面向Doris实时数仓集成的技术实践》报告。 ......
ODBC 连接 Doris数据库
前言 主要测试通过ODBC方式来连接Doris 数据 一、环境 1、Cntos7 1、Doris 2.0.2 2、Mysql-connector-odbc-5.3.7 二、使用步骤 1.安装 odbc驱动 Mysql ODBC驱动下载地址 https://downloads.mysql.com/ar ......
doris
## doris ### Partition & Tablet - Partition 逻辑分区往往根据业务通过用户指定的分区列进行范围划分，可以视为逻辑上最小的管理单元，好比导入和删除操作就是partition。 - list partition V not found
doris FF启动异常，异常信息如下： 2023-11-01 09:53:22,691 INFO (main|1) [PaloFe.start():124] Palo FE starting... 2023-11-01 09:53:22,699 INFO (main|1) [FrontendOpt ......
Apache Doris 使用指南
欢迎参观我的博客，一个Vue 与 SpringBoot结合的产物：https://poetize.cn 博客：https://gitee.com/littledokey/poetize-vue2.git 聊天室：https://gitee.com/littledokey/poetize-im-vue ......
doris 同一sql查询结果不一致问题
问题背景 数据大屏，展示数据有问题，查看前端指标呈现应用程序表对应指标发现有数据，后端再次测试发现了问题 问题描述 quota_id 指标id,为字符串类型 每五分钟会有自动执行脚本将最新账期数据同步到app_kpi_index_data表中 对于使用insert插入数据表中的数据，查询数据时会出现 ......
doris建表报错 errCode = 2, detailMessage = Scale of decimal must between 0 and 9. Scale was set to: 10
doris建表报错 问题背景 当我从Mpp库向doris库中导数据时，需要先创建对应的数据表，将Mpp库中表的建表语句略作修改后，在doris服务器上运行 CREATE TABLE opt_connect_box_v8 ( CNT_BOX_ID char(72) NOT NULL, CNT_BOX_ ......
Doris 知识点
列映射的目的主要是描述导入文件中各个列的信息，相当于为源数据中的列定义名称。通过描述列映射关系，我们可以将于表中列顺序不同、列数量不同的源文件导入到 Doris 中。 https://doris.apache.org/zh-CN/docs/dev/data-operate/import/import ......
Doris数据模型简单介绍
一、基本概念 在 Doris 中，数据以表（Table）的形式进行逻辑上的描述。 一张表包括行（Row）和列（Column）。Row 即用户的一行数据。Column 用于描述一行数据中不同的字段。Column 可以分为两大类：Key 和 Value。Doris的key列是建表语句中指定的列，建表语句 ......
Doris简单了解
Apache Doris 是一个基于 MPP 架构的高性能、实时的分析型数据库，以极速易用的特点被人们所熟知，仅需亚秒级响应时间即可返回海量数据下的查询结果，不仅可以支持高并发的点查询场景，也能支持高吞吐的复杂分析场景。基于此，Apache Doris 能够较好的满足报表分析、即席查询、统一数仓构建 ......
40 分钟内同步 500GB MySQL 数据至 Doris
NineData 采用先进的数据同步技术，确保数据实时同步到 Doris，极大地降低了数据延迟，实测 500 GB 数据传输完成仅用时 40 分钟，让您的决策基于最新数据。 ......
Doris--数据表基本概念和字段类型
1.doris表基本概念 在 Doris 中，数据都以关系表（Table）的形式进行逻辑上的描述。 1.1.1Row & Column 一张表包括行（Row）和列（Column） Row 即用户的一行数据 Column 用于描述一行数据中不同的字段 在默认的数据模型中，Column 只分为排序列和非 ......
Apache Doris集群部署
一、Doris部署环境及系统依赖 环境要求参考:https://doris.apache.org/zh-CN/docs/dev/install/standard-deployment 1.部署环境 2.系统依赖 1.Java环境 tar xf jdk-8u201-linux-x64.tar.gz - ......
Doris 再次启动FE失败的思考
# Doris再次启动FE失败的思考 ## 背景描述 在昨天已经成功下载安装最新稳定版docker、拉取doris-0.15.0版本的镜像、将镜像挂载道本地Doris源码目录、完成了doris的编译之后，今天在继续按照文档进行集群部署时，基本没遇到什么问题，后面在查看be节点状态时发现hadoop1 ......
Doris启动BE时于是遇到的问题
# Doris启动BE时于是遇到的问题 ## java.net.ConnectException: 拒绝连接 (Connection refused) >配置文件中ip地址输入错误,导致无法访问,检查后修改即可 `sudo vi /opt/module/apache-doris-0.15.0/be/ ......
Doris启动FE时报错：JAVA_HOME tset
# Doris启动FE时报错：JAVA_HOME tset ## 问题描述 运行代码启动fe时报错 `./start_fe.sh --daemon` ## 错误信息 `Error:JAVA_HOME is not set.` ## 问题截图 ![](https://img2023.cnblogs.c ......
配置Doris时，关闭Linux系统的交换空间
# 配置Doris时，关闭Linux系统的交换空间 ## 概述 交换空间是现代 Linux 系统中的第二种内存类型。交换空间的主要功能是当全部的 RAM 被占用并且需要更多内存时，用磁盘空间代替 RAM 内存。交换空间对虚拟化技术资源损耗较大，成本损耗较高，一般虚拟化技术是不允许开启交换空间的，如果 ......