apache hop kettle 替换方案

发布时间 2023-10-04 09:43:27作者: 荣锋亮

apache hop 是一个apache 开源的 kettle替换方案,提供了kettle 任务的导入能力,整体来说目前估计ga 了,而且还算活跃

参考架构

如下图,包含了gui,server,metadata store,runner。。。还是比较完整的

 

支持的功能

  • pipeline 开发 
    就是kettle 的转换
  • workflow 开发 
    就是kettle 的job
  • metadata 
    元数据存储
  • hop server 
    就是kettle 的Carte
  • 基于vcs 的资源管理 
    实际上就是类似kettle 的文件,或者数据库资源库,但是hop 基于了git 进行管理
  • 插件化的开发能力 
    我们可以方便的自己扩展hop

说明

apache hop 提供了kettle 导入能力,可以方便kettle 任务的迁移,同时还提供了基于容器的运行模式,同时还提供了web service 接口
hop 已经与apache beam 进行了集成了,这样我们就可以很好的利用spark 以及flink 周边的能力了,同时hop 还提供了一个sdk(实际与kettle 类似,主要是方便集成到自己的业务系统中)

参考资料

https://hop.apache.org/
https://github.com/apache/hop
https://hop.apache.org/tech-manual/latest/hop-vs-kettle/if-you-know-kettle.html
https://hop.apache.org/tech-manual/latest/hop-vs-kettle/hop-vs-kettle.html
https://hop.apache.org/tech-manual/latest/hop-vs-kettle/import-kettle-projects.html
https://hop.apache.org/dev-manual/latest/sdk/hop-sdk.html