dremio
dremio jdbc 插件时间增量处理的一些问题
dremio 支持一些增量数据处理能力，同时可以选择增量字段，目前dremio 是提供了一些实现，比如反射数据基于iceberg对于增量 可以是不同的数据源（jdbc 的，文件系统的，iceberg 的），日常大家可能选择基于时间戳的（尤其业务系统是基于时间标识的append 类型的） 对于时间类型 ......
dremio 反射刷新时间的一些简单说明
dremio 的反射是可以创建的view 以及table （datasource 中的表) 上的，默认物化反射的调度频率最小是1小时，view 上的反射频率是不能调整的（只能创建，不能配置频率），物理表可以进行配置调整，以下是一些测试说明 几个方便观测反射效果的sql 以下是提供的几个系统表可以方便 ......
dremio+nessie+dbt+ cube.js 实现简单数据服务
以前我简单写过关于dremio与cube.js 集成的，随着dremio 官方自己维护了一个dbt 的adapter 以及nessie 方便的类似git 的多版本元数据服务的提供，将这几个集成在一起是一个很不错的选择，尤其是希望实现自己的headless bi 服务，同时利用dbt 强大的数据建模能 ......
dremio nessie 元数据sql查询简单说明
以前我简单介绍过关于dremio 与nessie 集成的，基本可以分为两大类，一类是完全使用nessie 做为元数据以及iceberg 的操作，还有就是nessie 做为其他外部工具的元数据存储，同时dremio 专门也开发了相关的sql 操作，这样并不需要使用ui 进行操作 nessie元数据操作 ......
dremio nessie 集成玩法
昨天我简单写了dremio 集成nessie 的玩法， 实际上dremio 与nessie 的集成可以分为两大类，一类是使用nessie 做为catalog 服务 （当然也是支持写入iceberg 的），一类是基于外部工具（spark，flink） 使用nessie 做为metadata stora ......
dremio nessie数据源集成简单说明
nessie 是一个强大的支持类似git 分之特性的apache iceberg 智能元数据存储, 主要测试下基于nessie dremio 元数据存储（catalog） 集成参考架构 环境准备 docker-compose 文件 version: "3" services: minio: imag ......
dremio hive jdbc arp date 类型问题记录
简单记录下碰到的一些问题 分析 arthas stack 查看调用 ffect(class count: 2 , method count: 4) cost in 329 ms, listenerId: 11 ts=2023-12-26 06:18:17;thread_name=e3 - 1a758 ......
基于pg driver 的dremio cratedb arp 扩展
实际上pg 驱动是可以直接链接cratedb 的但是因为默认实现会自动添加一个编码造成生成的sql 在cratedb 运行异常 参考代码 核心是arp 方言处理上，移除了关于编码的处理，实际上与mssql server 处理是一样的,主要代码实际上来自ce 版本的pg 扩展 public SqlCo ......
以前开发的一些dremio arp 扩展24.3 更新
以前开发过一些简单的arp 扩展（核心还是修改的ce 版本的），dremio 发布24.3版本了，但是有不少调整，造成以前的不能使用了目前已经将以前开发的都更新了 my-dremio-mssql-connector 主要是解决中文乱码问题 cratedb-dremio-connector 支持链接c ......
dremio 24.3 版本构建的一些问题
dremio 24.3 社区版代码提供了，从官方文档来看，构建与以前不太一样了，以下是构建中一些问题说明 主要问题 jdk 需要同时包含jdk8 以及jdk11, maven 配置toolchains 解决方法 对于多jdk 的安装可以使用二进制程序，比如我使用的mac 我使用了sdkman 这个工 ......
dremio arp 扩展开发icon问题
好久没太注意dremio 内部的变动了，结果今天在自己开发arp 扩展i升级到24.3 的时候发现icon 看不到，刚好官方发布了 24.3 的源码，顺着看了下发现是icon 已经不在arp 扩展中提供了，而是直接放到了ui 组件中了 参考图 解决方法 直接替换ui-lib jar 包 自己编译ui ......
dremio 24.3.0 arp 扩展变动
dremio 24.3.0 版本发布了，在测试arp 扩展的是否发现有一些问题，通过对于历史版本，发现主要是一个包的变动 参考对比 24.3.0 之前的 24.3.0 版本的 说明 对于以前开发的arp 扩展都需要重新调整并构建，才能确保与24.3.0 版本兼容，我以前开发的一些扩展后边会更新下 参 ......
dremio 24.3.0 发布
24.3 版本对于bugfix 以及新功能都是不少的 一些比较方便的新功能 支持parquet v2 文件， 支持元数据清理命令 VACUUM CATALOG CTAS 支持排序 Array 相关操作函数的提供 对于以及基于文件的数据源系统支持，自动的增量以及全量反射处理 parquet 文件字典编 ......
基于dremio dbt 实现dremio 语义层建模的简单说明
简单说明下基于dbt +dremio 的语义层建模 参考玩法 如下图 简单说明 关于基于sql 模式的语义层建模详细的可以直接参考官方文档，我只简单说明下关于dbt 与dremio 集成的 集成简单说明 对于每个领域的子模型，可以包含自己的s3（按需，也可以共享，但是注意命名区分），对于每个dbt ......
dremio dbt adapter 一些简单说明
dbt-dremio 是dremio 官方维护的dbt adapter ，目前还在持续迭代中 官方参考玩法 实际上核心是基于dbt +dremio 进行模型的创建 内部集成玩法 对于我们实际运行是需要对象存储服务的（比如使用minio），对象存储做为实际数据的物理存储，同时会使用apache ice ......
dremio 的虚拟数据集市
实际上术语来自dremio 的一篇博客，实际上官方也提供了如何创建自服务语义层的实践 博客中玩法的简单说明 官方的说明是参考如下流程 创建业务单元 基于文件夹的玩法 数据源鸡好吃呢个以及视图创建 实际上就是基于数据源进行vds的处理 访问控制以及权限处理 用户数据管理以及data mesh 界面以及 ......
dremio 提供的 maven repo地址
参考maven repo <repositories> <repository> <id>dremio-public</id> <url>http://maven.dremio.com/public/</url> </repository> <repository> <id>dremio-free< ......
dremio 24.2.6 社区版提供
就在这几天dremio 企业版24.2.6 发布了，这次社区版也同时提供了，速度比较快，核心还是一些bugfix 一些有意义的功能 sql 编辑器支持长时没有交互还能使用 多个oracle 的scan 操作可以并行了 说明 目前来看社区版代码还是没有提供,还得等等了,对于学习新功能的，可以通过反编译 ......
dremio 的自服务语义层创建简单说明
内容来自官方文档，介绍了一些关于dremio 的数据语义层的玩法 原则 分层 通过分层可以确保安全，性能以及可用性，dremio 提供了一个对于语义层的最佳实践 数据集的注释增强发现以及可理解性 可以通过tag 以及文档（wiki）进行数据的描述 最佳实践 使用1:1 的预处理层 此层的数据接近原始 ......
dremio 的Well-Architected Framework
内容来自官方文档，可以很好的了解dremio 的架构设计 参考图 说明 以上文档，相对简单，但是可以很好的说明dremio包含的能力以及如何进行dremio服务的部署 参考资料 https://docs.dremio.com/current/help-support/lakehouse-arch/ ......
dremio metabase 高版本jdk连接问题
目前已经有不少新项目都是使用了高版本的jdk，比如不少使用了jdk11，还有直接使用jdk17 的 dremio jdbc 驱动支持的jdk 主要是8，对于其他高版本jdk 的支持会有一些问题核心是netty 相关的 以下是一个参考配置 启动参数配置 适合jdk 17 以及以上版本的 java -- ......
dremio 创建数据集命令
以前dremio 对于基于sql 的数据集创建使用的命令是create vds <datasetname> as select * from <source>新的调整为了 create view <datasetname> as select * from <source> 说明 对于数据集的操作同 ......
dremio hive 连接
dremio 对于hive 的连接实际上有两种方法，一种使用的是hive 的meta store ,一种是使用的hive jdbc server第一中是官方支持的，第二种官方缺少直接的支持，需要自己开发相关的arp 扩展 一些参考实现 cdata 目前提供了一个开源实现，但是jdbc 驱动使用的是自 ......
使用jprofiler 14 查看dremio 的grpc 调用
我以前也写过使用就profiler分析dremio 调用链的，jprofiler 14 支持独立的grpc 功能节点了，可以方便我们了解dremio 内部grpc 的调用机制 环境配置 这个就比较简单了，具体可以参考我以前写的文章（包含了基于agent 模式以及attach 模式的） 参考效果 参考 ......
dremio 24.2 新增druid arp 扩展
dremio 24.2 新增druid arp 扩展，此扩展在jdbc ce 版本的plugin 中， 我们可以通过反编译学习 参考图 参考资料 https://druid.apache.org/ ......
dremio 24.2 社区版发布
就在昨天，dremio 提供了社区版的下载地址，24.2 提供了不少新特性 主要新特性 delta lake 不少新功能支持（历史，快照） 反射hints 支持（可以基于声明式定义） 一些新的半结构化数据聚合参数 自动反射推荐功能 一些查询计划的优化（主要是修复一些历史之行计划的问题） 对于分布式存 ......
dremio 24.1 vacuum 一些新特性
实际上此功能，我以前介绍过，现在官方文档直接说明了，同时最新版本支持删除过期文件了，24版本我在测试的时候发现是有些问题新版本是否解决还得测试，具体使用可以参考以下链接 参考资料 https://docs.dremio.com/software/release-notes/240-release/h ......
dremio 24.1 Nessie 支持插件
以前也简单说过24.1 支持基于Nessie 进行查询了，相关代码名称比较怪异（此代码开源了），名称为dataplane 参考代码信息 说明 因为dremio 云版本支持基于Nessie的元数据管理，此功能代码还是值得学习参考的，整体开发上也是一个标准的存储扩展 参考资料 https://docs. ......
dremio 24.1 udf 表函数支持
此功能比较方便，我们可以方便的扩展一些函数，直接可以返回表数据，方便分析处理，以前要处理需要通过关联，或者自定义vds 参考使用 参考资料 https://docs.dremio.com/software/sql-reference/sql-commands/functions/ ......
dremio 24.1 zstd 支持的的处理
以前我简单介绍过关于dremio 如何自己编译支持zstd 压缩，目前官方24.1 直接支持了，通过查看源码实际上处理思路以及方法与我介绍的是一致的，具体可以参考我写过的博客 参考资料 https://www.cnblogs.com/rongfengliang/p/16823130.html ......