doris
doris单机安装部署
[原文出处](https://zhuanlan.zhihu.com/p/635673029) # doris单机安装部署 ### 下载Doris >环境要求 Linux系统：Centos7.x或Ubantu16.04及以上版本 Java运行环境: JDK8 `java -version` ![](h ......
Doris 运维命令
## FE/BE启动 `bin/start_fe.sh --daemon` `bin/start_be.sh --daemon` ## 添加FE `ALTER SYSTEM ADD FOLLOWER "follower_host:edit_log_port";` `ALTER SYSTEM ADD ......
Doris 基础与数据模型划分
# 端口  # 启动 ## FE 启动 启动 `bin/start_fe.sh --daemon` ## ......
Doris forentend: Environment invalid because of previous exception: (JE 18.3.12)
错误日志 2023-07-18 19:45:58,493 INFO (main|1) [PaloFe.start():124] Palo FE starting... 2023-07-18 19:45:58,503 INFO (main|1) [FrontendOptions.analyzePrio ......
Doris-BE节点集体挂掉问题排查
背景 7月14版本上线，7月16日doris集群BE节点短时间内陆续挂掉，暂时重启解决，7月17日周一上班，BE节点开始反复挂掉影响使用 问题定位： 1、查看doris BE节点日志 be.out日志如下所示，由第7行（doris::PlanFragmentExecutor）可看出是因为sql执行引 ......
Doris写入数据异常提示actual column number in csv file is less than schema column number
## 版本信息： - Flink 1.17.1 - Doris 1.2.3 - Flink Doris Connector 1.4.0 ## 写入方式 采用 String 数据流，依照社区网站的[样例代码](https://doris.apache.org/zh-CN/docs/1.2/ecosys ......
字节、腾讯争先部署，ClickHouse+Doris 赶超 MySQL 810 倍
阿里流传着这样一句话，“一切业务数据化，一切数据业务化”。 作为大数据从业者，你一定明白有数据是一回事，可要想让数据发挥价值、成为生产力是另一回事。手里得有两把刷子，才能成为大数据圈儿的“大拿”！ 如何实现智能路径检测，查询出符合条件的路径详情及符合路径的用户数？ 关于有序漏斗转化，如果想要更准确一 ......
记录一次Doris的BE启动失败的问题
启动 be的时候出现job aborted； 查看日志 be.WARNNING,发现有下面的bug， W0708 01:33:16.123397 9919 cidr.cpp:75] wrong CIDR IP value. network= F0708 01:33:16.123462 9919 ba ......
Mac使用docker安装Doris
一、编译源码 （1）拉取编译镜像docker pull apache/incubator-doris:build-env-1.2 （2）Mac电脑上拉取源码git clone https://github.com/apache/incubator-doris.git 切换到指定分支git fetch ......
Doris插入数据底层存储测试
建表语句 CREATE TABLE IF NOT EXISTS base_site_test( site_id INT DEFAULT '10', city_code INT, user_name VARCHAR(32) DEFAULT '', pv BIGINT DEFAULT '0' ) UNI ......
Doris建明细测试表，导入测试数据
分区、分桶、明细表 测试用户表 CREATE TABLE user_info( dt DATE, id varchar(36) NOT NULL DEFAULT '10', user_name varchar(36), age tinyint, phone varchar(11), province ......
Doris架构包含哪些技术？为什么进行技术整合？
Doris主要整合了Google Mesa(数据模型)，Apache Impala(MPP Query Engine)和Apache ORCFile (存储格式，编码和压缩)的技术。 为什么要将这三种技术整合? Mesa可以满足我们许多存储需求的需求，但是Mesa本身不提供SQL查询引擎。 Impa ......
Doris整合Elasticsearch
# 1、环境 >doris 1.2.4 >Elasticsearch 7.7 安装教程 https://www.cnblogs.com/yanzhong/p/17515917.html # 2、doris 配置外表（方法一） ## 1、添加语法 >详细 官网 https://doris.apache ......
Doris 1.2.0 JDBC外表 及 Mutil Catalog
# 环境 1. doris 需要版本**1.2以上** 2. jar包 根据不同的**数据源** 需要不同的jar包 https://mvnrepository.com/ a. MySQL mysql-connector-java-5.1.47.jar b. PostgreSQL postgresq ......
一种读取亿级doris数据库的方法
工作中，常常需要将线上doris同步至集市。读取doris数据同读取常规mysql基本相同。如果数据行小于千万，比较简单的方式直接单节点连接、读取和存储。 ......
doris 导入导出 parquet 文件
# 1、parquet 介绍 > 略.... # 2、本地测试环境 - doris版本 1.2.4-1 ## 创建doris表 ```sql #创建表 并且添加模拟数据 drop table if exists load_parquet_file_test; CREATE TABLE IF NOT ......
doris 报错： Insert has filtered data in strict mode, tracking url=
最近使用doris插入数据时，报了如下错误： Insert has filtered data in strict mode, tracking url= 点击 tracking url的连接地址，可以查看报错具体详情 我的程序报错时因为插入的数据长度超过字段长度，所以需要修改对应字段长度。 通过命 ......
doris/starrocks配置参数修改
FE 参数分为动态参数和静态参数。动态参数可通过 SQL 命令进行在线配置和调整，方便快捷。 静态参数必须在 FE 配置文件 fe.conf 中进行配置和调整。调整完成后，需要重启 FE 使变更生效。 参数是否为动态参数可通过 ADMIN SHOW CONFIG 返回结果中的 IsMutable 列 ......
DORIS-FE故障处理
FE（follower）挂掉 日志报错： 处理方法： 情况1：单个 FE （Follower）情况 如果是单个FE，直接在conf/fe.conf 中加入 metadata_failure_recovery=true 在访问正常之后，将上面元数据恢复模式设置成false，或者将这个配置项注释掉 最后 ......
干货｜开源OLAP引擎（ClickHouse、Doris、Presto、ByConity）性能对比分析
随着数据量和数据复杂性的不断增加，越来越多的企业开始使用OLAP（联机分析处理）引擎来处理大规模数据并提供即时分析结果。在选择OLAP引擎时，性能是一个非常重要的因素。
因此，本文将使用TPC-DS基准测试的99个查询语句来对比开源的ClickHouse、Doris、Presto以及ByCon... ......
doris/starrocks on ES
在doris/starrocks中创建外部表 USE simon;CREATE EXTERNAL TABLE `soe_t1` ( `k1` bigint(20) NULL COMMENT "", `k2` datetime NULL COMMENT "", `k3` varchar(20) NUL ......
Doris(七) -- 修改表、动态和临时分区、join的优化
# 修改表 ## 修改表名 ```SQL -- 1.将名为 table1 的表修改为 table2 ALTER TABLE table1 RENAME table2; -- 示例 ALTER TABLE aggregate_test RENAME aggregate_test1; -- 2.将表 e ......
Doris(六) -- 查询语法和内置函数
# 查询语法和内置函数 ## 查询语法整体结构 ```sql SELECT [ALL | DISTINCT | DISTINCTROW ] -- 对查询字段的结果是否需要去重，还是全部保留等参数 select_expr [, select_expr ...] -- select的查询字段 [FROM ......
Doris(五) -- 数据的导入导出
# 数据导入 ## 使用 Insert 方式同步数据 用户可以通过 MySQL 协议，使用 INSERT 语句进行数据导入 INSERT 语句的使用方式和 MySQL 等数据库中 INSERT 语句的使用方式类似。 INSERT 语句支持以下两种语法： ```SQL INSERT INTO tabl ......
ByConity与主流开源OLAP引擎（Clickhouse、Doris、Presto）性能对比分析
本文使用了TPC-DS基准测试的99个查询语句来对比开源的ClickHouse、Doris、Presto以及ByConity这4个OLAP引擎的性能表现，以便为企业选择合适的OLAP引擎提供参考！ ......
Doris(三) -- Rollup和物化视图
# Rollup ROLLUP 在多维分析中是“上卷”的意思，即将数据按某种指定的粒度进行进一步聚合。 通过建表语句创建出来的表称为 Base 表（Base Table,基表） 在 Base 表之上，我们可以创建任意多个 ROLLUP 表。这些 ROLLUP 的数据是基于 Base 表产生的，并且在 ......
Doris(三) -- 索引
# 索引 索引用于帮助快速过滤或查找数据。 目前 Doris 主要支持两类索引： • 内建的智能索引：包括前缀索引和 ZoneMap 索引。 • 用户创建的二级索引：包括 Bloom Filter 索引 和 Bitmap倒排索引。 其中 ZoneMap 索引是在列存格式上，对每一列自动维护的索引信息 ......
Doris(二) -- 基本概念和数据表模型
# 字段类型 | 数据类型 | 字节 | 范围 | | | | | |TINYINT|1 字节|-2^7 + 1 ~ 2^7 - 1| |SMALLINT|2 字节|-2^15 + 1 ~ 2^15 - 1| |INT|4 字节|-2^31 + 1 ~ 2^31 - 1| |BIGINT|8 字节| ......
Doris(一) -- 简介和安装
## Doris 简介 ### Doris 概述 Apache Doris 由百度大数据部研发 (之前叫百度 Palo，2018 年贡献到 Apache 社区后，更名为 Doris), 在百度内部，有超过 200 个产品线在使用，部署机器超过 1000 台，单一业务最大可达到上百 TB。 Apach ......