前言:就是将一些数仓领域的精华经验,分别用一句话展示出来。
- 数仓分层千千万,核心三层是进仓、加工、出仓。
- 开窗函数,可以解决99%的逐条汇总需求。
- 当有数据量差异时,按维度汇总后比对数据量差异,可以快速确定单点异常还是通盘异常。
- 数据迁移前,数据资产清单的确定非常重要,及时工具层面可以全部迁入新环境,也建议做做“瘦身”。
- 数据迁移中最容易被忽略的是函数功能的测试,对于临界情况要充分验证。
- 数据加密方式很多,如果涉及对客电话等沟通,建议将加密处理前置到核心系统处理,并且使用不同加密方式应对不同场景。
- 分组汇总有上卷汇总,可以代替分别汇总后再拼接的复杂操作。