kettle
Kettle设置定时跑任务
1.Kettle设置作业 保存,test.kjb 2. 创建批处理 zxjb.bat C: cd C:\kettle\pdi-ce-9.4.0.0-343\data-integration kitchen.bat /file C:\kettle\ket\dw\test.kjb /level Deta ......
利用Kettle按需分发邮件
一、需求:全量数据发送给A邮箱,再把各个供应商的数据发送给各个供应商的邮箱 全量数据发送到a邮箱 b的数据发送b邮箱 c的数据发送c邮箱 d的数据发送d邮箱 二、实现思路:从全量的Excel里根据name字段保存成每个对应名字的Excel文件,再把各个Excel文件发送到对应的邮箱 提前准备两个Ex ......
Kettle arm M2 9.4 完美支持
java 1.8.0_202 安装 brew install kettle 启动 /usr/local/Cellar/kettle/9.4.0.0-343/libexec/spoon.sh // 后台运行 brew services start kettle // 前台运行 KETTLE_HOME= ......
kettle从入门到精通 第二十九课 job 循环 检验字段的值
1、平常我们在用kettle设计job的时候,会用到循环来处理一些业务逻辑,比如循环检测某个表中的数据条数等。这个时候就会用到一个特别重要的步骤:检验字段的值。 下图是一个的通过初始化DNOE变量为false,等待3s之后更新DONE变量为true的一个循环demo。 2、设置变量步骤,可以从属性文 ......
Kettle用查出来的数据自动创建表
Kettle在表输入的时候,写好很复杂的SQL,有种场景,就是想把这个很复杂的查出来的数据,自动创建一个表。 其实,操作步骤不复杂。 跟着我来做就是了。 1,新建表输出,Shift按住,从表输入拖动箭头到表输出,打开表输出属性,指定数据库,输入需要创建的目标表名。 2,点击右下角SQL,自动出来创 ......
kettle从入门到精通 第二十八课 初识kettle-job
1、前面我们一起学习了,很多转换的知识,转换为批量的开发做铺垫,今天我们一起来学习下kettle job的知识。 kettle job 常用的步骤如下图,有Start、转换、作业、成功等步骤。 2、下面是一个简单的批量设计图,用到了Start、转换、作业、成功四个步骤。 Start:可以设置执行策略 ......
kettle从入门到精通 第二十七课 邮件发送
1、我们平常在做数据同步的时候,担心转换或者job没有正常运行,需要加上监控机制,这个时候就会用到邮件功能。 下图是一个简单的测试邮件发送功能的转换。在kettle.properties文件中设置邮件参数,通过邮件步骤进行发送。 2、地址参数配置 步骤名称此步骤在转换工作区中显示的名称。目标地址电子 ......
Kettle
一、定义 ETL(Extract-Transform-Load的缩写,即数据==抽取、转换、装载==的过程),对于企业或行业应用来说,我们经常会遇到各种数据的处理,转换,迁移,所以了解并掌握一种etl工具的使用,必不可少的,Kettle就是强大的ETL工具。 Kettle是一款国外开源的ETL工具。 ......
kettle从入门到精通 第二十六课 再谈 kettle Transformation executor
1、前面文章有学习过Transformation executor ,但后来测试kettle性能的时候遇到了很大的问题,此步骤的处理性能太慢,导致内存溢出等问题。所以再次一起学习下此步骤的用法。 2、 如下图中rds-sametable-同步逻辑处理使用的是Transformation execut ......
kettle使用时间戳增量回滚同步,实现增删改数据同步
转载:https://zhuanlan.zhihu.com/p/104352273 0. 前言 本文介绍了使用Kettle对一张业务表数据(500万条数据以上)进行实时(10秒)同步,采用了时间戳增量回滚同步的方法。关于ETL和Kettle的入门知识大家可以阅读相关的blog和文档学习。 1. 时间 ......
kettle从入门到精通 第二十四课 kettle 部署生产常用命令
一、设置KETTLE_HOME环境变量 假设kettle软件目录为/xxx/data-integration vi ~/.bash_profile export KETTLE_HOME=/xxx/data-integration/config source ~/.bash_profile echo ......
Mac M2 启动 kettle web 服务 cart
查看本地资料库配置 <?xml version="1.0" encoding="UTF-8"?> <repositories> <connection> <name>dses_etldb</name> <server>10.132.81.199</server> <type>MYSQL</type> ......
kettle的定时任务job作业
Job定时任务:新建作业,通用,选择插件:/19 09:43:20 - jobs-1 - 完成作业项[成功] (结果=[true])2023/12/19 09:43:20 - jobs-1 - 完成作业项[转换] (结果=[true])2023/12/19 09:43:20 - jobs-1 - j ......
kettle组件控制操作MySQL
使用kettle执行脚本:然后保存执行实现以下效果;转换参数:实现变量转换:delete from test where userid='${userid}';实现效果:100被删除 ......
kettle更新组件(insert_update)
2种装载方式:全量装载和增量装载插入更新 与 表到表区别:表到表:只追加数据,不管表里重不重复插入更新: 对比关键字段,更新所有数据(不会删除)创建数据流:需求:表输入组件只是将数据追加装载到表中,并不是我们想要的更新数据:如下:插入/更新 匹配关键字 id = id保留关键字的字段,用来匹配唯一数 ......
kettle从入门到精通 第二十三课 kettle carte 错误(java.lang.OutOfMemoryError: GC overhead limit exceeded,Could not emit buffer due to lack of requests,java heap space)分析
1、Could not emit buffer due to lack of requests(无法发出缓冲区,因为请求不足。) 原因有两点:1)消费者处理数据能力较弱,如表输出步骤。2)消费者没有处理数据,如传递的数据中有字段type=1的数据,这种情况没有处理。 解放方案:针对 1)采用多线程处 ......
kettle从入门到精通 第二十二课 kettle carte web服务中文乱码
在windows 上面 carte服务的canvas画布展示的中文正常,但是在linux上面中文展示乱码,如下所示: 原因:linux 机器缺少字体所致。 kettle源码中使用字体: 解决方法: 安装字体即可,无需重启机器,参考如下连接安装字体https://blog.csdn.net/weixi ......
[ETL] [kettle] [dbeaver] 安装配置中的一些问题
java: 8 & 17 kettle: 8.3 (java8) mysql: 8.0 mysql-connetor-java: 8.0+ dbeaver: 23.3 (java17) 标准流程:下载,解压,点击,启动,连接数据库,干活 DBeaver: java版本不符,请使用java17 or ......
在Kettle(PDI)中使用IDEA或VS Code编写自定义Java代码协助转换
在 Kettle(PDI)中使用 IDEA 或 VS Code 编写自定义 Java 代码协助转换 笔者最近正在学习数据仓库课程,其中某项作业要求笔者使用 Kettle 工具来对数据进行 ETL。Kettle 是一个很强大的工具,但是对一些比较复杂的数据转换和处理操作来说,相比于研究如何利用 Ket ......
Kettle 下载安装及连接Oracle
1.Kettle 下载安装 官网地址:https://sourceforge.net/projects/pentaho/ 下载后解压,双击data-integration,找到spoon.bat进行双击,稍等几秒就可以显示界面 2.Oracle数据库连接 下载oracle的jar包,放至lib目录下 ......
利用 kettle 对 oracle 实现字符串的脱敏和对称加密
脱敏要求 对身份证进行 ASE加密处理 对手机号 只显示前三位和后四位 其余使用**** 代替 对于职业只显示 前三个字 对于真实姓名只显示展示一位即可 kettle 建立转换 表输入 表输出 ASE加密 选择组件 密钥转换 密钥必须是 16 进制 且大于 16 个字节 配置字段和加密算法 对于掩码 ......
ETL处理工具-kettle使用
ETL处理工具-kettle使用 一、Kettle介绍 kettle是一个ETL工具,ETL的全称为(Extract-Transform-Load),用来描述将数据从来源端经过 抽取(extract)、转换(transform)、加载(load)至目的端的过程。ETL是将业务系统的数据经过抽取、清洗 ......
利用kettle工具对多个excel文件进行合并
一、打开绿色软件kettle(双击文件Spoon.bat),然后点击 文件 》 新建 》转换 。 二、把左边的“Excel 输入” 拖到右边的工作区。 三、把左边的“Excel 输出” 也拖到右边的工作区。 四、按住 Excel输入 同时按住Shift键,然后出现向右的箭头,然后把该箭头向右延申到 ......
利用kettle工具,把文本文件保存有股票代码的数据传送到Oracle表里保存
利用kettle工具,把文本文件保存有股票代码的数据传送到Oracle表里保存。 以下为思路提供,因为涉及我的知识版权,所以不能完全公开具体的操作方法,只能提供大概思路,仅供参考,不构成任何买卖依据。 一、先从某APP 下载数据,以文本文件格式保存到本地盘。(至于如何下载,这个暂时不公开方法。) 二 ......
ETL工具kettle的妙用
以下为思路提供,因为涉及我的知识版权,所以不能完全公开具体的操作方法,只能提供大概思路,仅供参考,不构成任何买卖依据。 一、先从APP开盘啦 下载数据,以文本文件格式保存到本地盘。(至于如何下载,这个暂时不公开方法。) 二、1.txt文件内容的格式,对应某一个热门板块,以方便后面用kettle ET ......
kettle/ckettle进行参数对称加解密-AES为例
ckettle/kettle字段加密对称加密机制 方法调用链 kettle-core-2.3.0.1-SNAPSHOT.jar: 进行秘钥加密保护(不涉及实际业务处理) org.pentaho.di.core.encryption.Encr org.pentaho.di.core.encryptio ......
Kettle链接SqlServer+Jdk8 问题解决
这两天要弄个ldap对接, 客户端 server2016,数据库那边 win server 2008,数据库也是2008 最开是链接出现类似这样的,更换了链接mssql的 Jar版本,从12换到了6的老版本,没用。 后来更改网上提示的 C:\Program Files\Java\jre-1.8\li ......
linux centos7kettle使用Carte
1.下载安装kettle的方法请自行百度 2.启动carte服务 进入kettle目录 cd /opt/data-integration 方式一 #windowsCarte.bat ip port#例:Carte.bat 192.168.x.x 8080#linux./carte.sh ip por ......
kettle 执行任务的方式
图形化界面 你可以通过双击Spoon(Kettle的图形界面工具)的可执行文件来启动Kettle 图形化界面 可以出处理作业和转换 数据库链接 资源库 命令行 转换 Pan 是Kettle的命令行工具,用于批量执行ETL转换任务。 可以通过命令行参数指定需要执行的转换或作业文件,并提供了丰富的选项来 ......