flink的各个算子在收到barrier的时候会做什么

发布时间 2023-06-06 11:41:36作者: 田野与天

在Flink中,各个算子(算子链中的每个算子)在收到 barrier(检查点屏障)时会执行以下操作:

  1. 算子状态快照:算子会触发对其状态的快照操作,以捕获当前状态的一致性快照。这包括算子的运行时状态、缓冲区或累加器等数据。

  2. 处理挂起输入数据:算子会将收到的 barrier 后的数据挂起,不再继续处理。它确保在进行状态快照之前,不会处理从检查点位置之后的数据。

  3. 确认 barrier:算子向上游任务发送确认消息,表示已经收到了 barrier。这个确认消息会向上游任务的算子传播,形成了 barrier 线(barrier alignment),所有算子都要在该 barrier 对齐上进行操作。

  4. 等待上游任务的确认:算子会等待来自所有上游任务的确认消息,以确保所有上游任务都已经收到了 barrier。

  5. 触发检查点:一旦算子收到了所有上游任务的确认消息,它会通知作业管理器(Job Manager)检查点可以继续进行,即向下游任务发送 barrier。

这些操作确保了算子在收到 barrier 时的一致性行为。通过在所有算子上引入 barrier 对齐,Flink能够保证在进行检查点时,所有的算子都具有一致的状态快照,并且不会处理来自检查点位置之后的数据,从而确保了检查点的一致性和正确性。如果有某个算子没有及时发送确认消息或者发生故障,则会导致 barrier 对齐失败,触发故障恢复机制来保证数据一致性。