Kappa
【虹科干货】Lambda数据架构和Kappa数据架构——构建现代数据架构
我们可以采取多种方法对数据架构进行分类,且每种方法都有自己的优缺点。它们可以帮助你做出明智的决定,选择适合与你需求最匹配的设计。两种最流行的基于速度的架构是Lambda和Kappa,本文将介绍基于速度的数据架构,以及它们在总体方案中的位置。 ......
什么是Kappa架构?
一、简介 相当于在Lambda架构上去掉了批处理层(Batch Layer),只留下单独的流处理层(Speed Layer)。通过消息队列的数据保留功能,来实现上游重放(回溯)能力。 当流任务发生代码变动时,或者需要回溯计算时,原先的Job N保持不动,先新启动一个作业Job N+1,从消息队列中获 ......