Kettle - 概述

发布时间 2023-06-07 23:41:39作者: HOUHUILIN

官网】| 【历史版本

 

 

 

ETL简介

Kettle简介

transformation 和 job的区别

 

 

 

 

 

 

ETL简介

ETL,Extract-Transform-Load的缩写,即数据抽取、转换、装载的过程。

市面上常用的ETL工具有很多,比如Sqoop,DataX,Kettle,Talend等。

 

 

Kettle简介

Kettle是一款国外开源的ETL工具,纯java编写,可以在Window、Linux、Unix上运行,绿色无需安装,数据抽取高效稳定。

Kettle中文名称叫水壶,该项目的主程序员MATT希望把各种数据放到一个壶里,然后以一种指定的格式流出。

Kettle允许管理来自不同数据库的数据,通过提供一个图形化的用户环境来描述你想做什么,而不是你想怎么做。

Kettle中有两种脚本文件,transformationjobtransformation完成针对数据的基础转换,job则完成整个工作流的控制。

Kettle现在已经更名为PDIPentaho Data Integration-Pentaho 数据集成

 

transformation 和 job的区别

作业(job)是步骤流,转换(transformation)是数据流。这是作业和转换的最大的区别。

作业(job)的每一个步骤,必须等到前面的步骤都跑完了,后面的步骤才会执行;而转换(transformation)会一次性把所有控件全部先启动(一个控件对应启动一个线程),然后数据流会从第一个控件开始,一条记录、一条记录地流向最后的控件。