FLink参数pipeline.operator-chaining介绍

发布时间 2023-08-03 11:35:34作者: 黑水滴

1、当使用flink提交一个任务,没有给算子设置并行度情况下,默认所有算子会chain在一起,整个DAG图只会显示一个算子,虽然有利于数据传输,提高程序性能,但是无法看到数据的输入和疏忽,业绩反压相关指标。

2、在api开发任务中,可以使用disableChaining方法打算operatorChain,但是在sql开发中不适用。如果想看没个算子输入和输出数据量,flink提供了一个参数配置

pipeline.operator-chaining决定是否打断operatorChain,加上pipeline.operator-chaining显示效果如下

 

 

pipeline.operator-chaining参数不仅对sql任务有效,对于api开发同样有效。

注意:开发完成后为了提高执行效率,建议注释掉此配置