dbt
dremio+nessie+dbt+ cube.js 实现简单数据服务
以前我简单写过关于dremio与cube.js 集成的，随着dremio 官方自己维护了一个dbt 的adapter 以及nessie 方便的类似git 的多版本元数据服务的提供，将这几个集成在一起是一个很不错的选择，尤其是希望实现自己的headless bi 服务，同时利用dbt 强大的数据建模能 ......
datavault4dbt Scalefree的dbt datavault2.0 包
基于基于dbt 的datavault 2.0 实现还是不少的，可以加速模型的创建，以前简单介绍的automate-dv 也是一个类似的dbt包 包含的maccro Staging Area (For Hashing, prejoins and ghost records) Hubs, Links & ......
快速上手 dbt 数据转换工具 -- dbt core 命令进阶篇
引 根据第一篇文章的约定，我想通过接下来的几篇文章带大家进一步了解 dbt 的用法，原计划这篇文章我会介绍 dbt 命令的进阶用法，进一步认识 dbt 的配置以及如何创建增量表等等零零散散十几个方面的知识点，结果在我写完命令部分发现篇幅就过长了，考虑到大家对于知识的吸收，想了想还是把命令单独作为一个 ......
基于dremio dbt 实现dremio 语义层建模的简单说明
简单说明下基于dbt +dremio 的语义层建模 参考玩法 如下图 简单说明 关于基于sql 模式的语义层建模详细的可以直接参考官方文档，我只简单说明下关于dbt 与dremio 集成的 集成简单说明 对于每个领域的子模型，可以包含自己的s3（按需，也可以共享，但是注意命名区分），对于每个dbt ......
dremio dbt adapter 一些简单说明
dbt-dremio 是dremio 官方维护的dbt adapter ，目前还在持续迭代中 官方参考玩法 实际上核心是基于dbt +dremio 进行模型的创建 内部集成玩法 对于我们实际运行是需要对象存储服务的（比如使用minio），对象存储做为实际数据的物理存储，同时会使用apache ice ......
从零开始的 dbt 入门教程 （dbt-core 基础篇）
最近一直在处理数据分析和数据建模的事情，所以接触了 dbt 等数据分析的工具，国内目前对于 dbt 比较详细的资料不多，所以打算写四道五篇 dbt 相关的文章，本文属于 dbt 系列的第一篇，本篇主要阐述 dbt 一些基本概念，教会你如何配置 dbt 连接远端数据库，并运行你的第一个数据模型，那么本 ......
dbt dbt-project-evaluator 扩展
dbt-project-evaluator 是官方提供的一个dbt 扩展，可以方便的自动帮助我们发现模型DAG的问题 支持的功能 协助模型的最佳实践 协助测试的最佳实践 协助文档的最佳实践 协助项目文件结构的最佳实践 协助模型物化最佳实践 协助模型治理最佳实践 目前支持的数据库 bigquery d ......
1. 在Windows10上使用dbca配置oracle19.3.0.0时，报错DBT-50000 无法检查可用内存。
1.如图所示，在安装过程中，我遇到了错误提示，无法检查可用内存，导致安装失败。  在咨询后，认为是内存不足导致的问题 ......
dbt 官方提供的一些强大的周边扩展
官方提供的一些不错的dbt 周边扩展 metricflow 此功能属于dbt 语义曾的一个核心组件这个是官方在推广的，对于我们进行数据分析很不错，参考玩法 dbt-meshify 这个属于dbt core 的一个扩展，提供了创建group，contract，access，version 以及进行项目 ......
dbt 新的基于视图的物化能力
dbt 在v1.6 版本，官方提供的不少adapter 支持了基于视图的物化处理，这个是一个很不错的功能技术上利用了db 提供的能力，官方提供了相关的介绍，具体可以参考连接 参考资料 https://docs.getdbt.com/blog/announcing-materialized-views ......
dbt modules 宏简单说明
dbt modules 宏提供了让dbt 访问python 包的能力，处理上基于了jinja 的上下问处理，但是目前官方没有完整暴露此方法 核心还是因为安全问题，只提供了一些时间、正则、迭代处理的，实际使用上基于了python 模块的动态加载（getattr） modules 宏的使用参考 {% s ......
dbt adapter 开发一些资料
dbt 演变以及周边工具是越来月多了，而且有不少db 已经支持dbt 的集成玩法了，官方提供了一些相关开发文档，一些不是很清晰对于我们实际需要开发的，就可以自己摸索，现在new sql 是越来越多了，但是并不是都能更好的支持dbt 内置的一些功能， 连接管理部分 这个部分官方有完整的信息，文档有提供 ......
jinjat 基于dbt 构建低代码数据应用
jinjat 的设计还是比较有意思的，直接利用了dbt，同时利用了一个analyses配置,analyses 在dbt 中更多属于一个基于现有的模型进行编译，但是不进行 执行，jinjat 就利用了功能，但是扩展了下 参考使用 模型 analysis/my_first_api.sql {%- set ......
dbt-duckdb dbt duckdb 强大的adapter
dbt-duckdb 是一个dbt 扩展，功能很强大，同时社区也有相关的文章，使用duckdb 替换spark 处理一些数据的pipeline因为duckdb 具有很不错的olap 性能，同时支持不少外部数据集成（比如s3，http，parquet，pg。。。。）dbt-duckdb扩展使用起来很方 ......
automate-dv 基于dbt 的data vault 2.0 落地工具
automate-dv 基于dbt 的data vault 2.0 落地工具，包装了不少方便的宏，可以方便我们呢进行data vault 2.0 数据仓库建模理论的实际落地 功能 企业级保障 支持data vault 的hub，links，satelintes以及一些扩展（方便使用） 元数据驱动的代 ......
dbt pacakge 模型引用
dbt 的package 能力可以方便的实现模型的共享，以下是一个简单的示例，实际上我以前写过（很早了，目前dbt 变化还是很大的） 外部模型引用使用说明 实际上是通过ref宏，明确声明包名以及模型,格式{{ref(<project or package name>,<model name>)} 示 ......
dbt class 简单说明
dbt class 可以用来创建数据仓库中的一些对象（比如关系，列）当需要通过高级模式进行模型以及宏构建的时候就比较有用 在不少开源同时也包括官方core 中都有使用到 主要包含的功能 Relation 对象创建 参考(对于在宏中使用 api.Relation.create创建) {% set re ......
dbt-server 简单说明
dbt-server 是dbt 团队对于dbt-rpc 调整之后开源的dbt api 服务，内部基于了dbt-core 提供的cli 编程调用能力 使用到的一些框架 fastapi 提供api 能力 dbt core 进行dbt 任务的执行 celery 基于celery 的任务调度（代码中的wor ......
数据转换工具DBT介绍及实操
一、什么是DBT dbt （data build tool）是一款流行的开源数据转换工具，能够通过 SQL 实现数据转化，将命令转化为表或者视图，提升数据分析师的工作效率。dbt 主要功能在于转换数据库或数据仓库中的数据，在 E（Extract）、L（Load）、T（Transform） 的流程中， ......
深入理解 dbt 增量模型
想要实现数据增量写入数据库，可以选择 dbt 增量模型。通过 dbt 增量模型，我们只用专注于写日增 SQL，不用去关注于如何安全的实现增量写入。 dbt 增量模型解决了什么问题 原子性写入：任何情况下，增量写入只有一个程序在写入。 假设增量程序已经上线，线上增量程序在执行的同时，开发也在本地执行增 ......