ODS

# ODS层数据同步问题总结 项目中参与到一些贴源层从各个系统同步数据的需求，理论上ODS层是不做任何处理的，应该很简单才对，但是实际还是超出理论的， 结合其他同事踩过的坑，总结一些接入的问题。 其实大部分问题，都是源表不规范导致的，因此在抽数前，一定要做好调研，下次写一篇如何做调研的总结。 ## ......

kafka业务数据到ODS层处理小记 1：kafka消息partition分区，应以表主键为key 2：kafka消息落地后，同一批次数据中取主键+offset最大的一条，再删除基础数据中此批次数据，最后将此批次数据按数据处理类型（delete、insert、update），先insert、upda ......