kettle从入门到精通 第二十六课 再谈 kettle Transformation executor

发布时间 2023-12-25 08:44:35作者: 慕容尘轩

 1、前面文章有学习过Transformation executor ,但后来测试kettle性能的时候遇到了很大的问题,此步骤的处理性能太慢,导致内存溢出等问题。所以再次一起学习下此步骤的用法。

 2、 如下图中rds-sametable-同步逻辑处理使用的是Transformation executor步骤,最后Speed 列表示处理速度,很明显440 远远小于上有步骤kafka的处理速度1567,此处就是瓶颈。

 

 3、非常重要的一个性能属性配置Row grouping,如下图所示:

 Number of rows to send to transformation:

指定一个数字,表示每N行数据执行一次任务,并将这N行数据传递给转换步骤进行处理。这里默认是1,表示一笔一笔的处理,速度非常慢,可以根据自己的要求设置大一点的数,如100,但是如果数据达不到100条,会一直等待直到数据满100条才会进行处理。

 Field to group rows on
指定一个用于分组行的字段。只要字段值保持不变,行将被收集到同一组中。如果值发生变化,将执行转换步骤,并将累计的行传递给转换处理。
 
Duration time when collecting rows

请指定一个毫秒级的时间。这个值表示在执行转换之前,步骤将花费多少时间来收集行数据。这个参数也尝试用过但未达到效果,有使用过的朋友可以@我交流。

 
总结: Number of rows to send to transformation 参数设置大些,可以提高性能。