kafka业务数据到ODS层处理小记
1:kafka消息partition分区,应以表主键为key
2:kafka消息落地后,同一批次数据中取主键+offset最大的一条,再删除基础数据中此批次数据,最后将此批次数据按数据处理类型(delete、insert、update),先insert、update,再delete。
kafka业务数据到ODS层处理小记
1:kafka消息partition分区,应以表主键为key
2:kafka消息落地后,同一批次数据中取主键+offset最大的一条,再删除基础数据中此批次数据,最后将此批次数据按数据处理类型(delete、insert、update),先insert、update,再delete。