dremio dbt adapter 一些简单说明

发布时间 2023-12-15 15:30:50作者: 荣锋亮

dbt-dremio 是dremio 官方维护的dbt adapter ,目前还在持续迭代中

官方参考玩法

实际上核心是基于dbt +dremio 进行模型的创建

内部集成玩法

对于我们实际运行是需要对象存储服务的(比如使用minio),对象存储做为实际数据的物理存储,同时会使用apache icerberg 表存储格式
对于模型是存储在我们的space 中的

  • 参考profile 定义
 
dremio:
  outputs:
    dev:
      password:  <password>
      port: <port using http default 9047> 
      software_host: <endpoint>
      object_storage_source:  <dremio s3 source  >
      object_storage_path:  <s3 bucket>
      dremio_space:   <dremio space >
      threads: 3
      type: dremio
      use_ssl: false
      user:  <user>
  target: dev
  • 实际参考玩法

  • 参考效果

s3数据源存储的数据

space 中存储的模型

 


模型的sql (一个简单示例)

说明

以上是一个简单说明,dremio 对于dbt 的集成是使用了http 接口,同时数据都是要落到s3 中的(也可以是其他可以写入的数据源),dbt 支持的一些profile 配置,同时官方也提供了一个简单的使用视频可以参考

参考资料

https://github.com/dremio/dbt-dremio
https://www.dremio.com/blog/announcing-dremios-partnership-with-dbt-labs/
https://www.dremio.com/wp-content/uploads/2022/10/Preview_dbt_Dremio_adaptor.mp4