数仓宝典

发布时间 2023-10-09 16:45:34作者: soccerchen

前言:就是将一些数仓领域的精华经验,分别用一句话展示出来。

 

  1. 数仓分层千千万,核心三层是进仓、加工、出仓。
  2. 开窗函数,可以解决99%的逐条汇总需求。
  3. 当有数据量差异时,按维度汇总后比对数据量差异,可以快速确定单点异常还是通盘异常。
  4. 数据迁移前,数据资产清单的确定非常重要,及时工具层面可以全部迁入新环境,也建议做做“瘦身”。
  5. 数据迁移中最容易被忽略的是函数功能的测试,对于临界情况要充分验证。
  6. 数据加密方式很多,如果涉及对客电话等沟通,建议将加密处理前置到核心系统处理,并且使用不同加密方式应对不同场景。
  7. 分组汇总有上卷汇总,可以代替分别汇总后再拼接的复杂操作。