kettle

Kettle设置定时跑任务

1.Kettle设置作业 保存,test.kjb 2. 创建批处理 zxjb.bat C: cd C:\kettle\pdi-ce-9.4.0.0-343\data-integration kitchen.bat /file C:\kettle\ket\dw\test.kjb /level Deta ......
任务 Kettle

利用Kettle按需分发邮件

一、需求:全量数据发送给A邮箱,再把各个供应商的数据发送给各个供应商的邮箱 全量数据发送到a邮箱 b的数据发送b邮箱 c的数据发送c邮箱 d的数据发送d邮箱 二、实现思路:从全量的Excel里根据name字段保存成每个对应名字的Excel文件,再把各个Excel文件发送到对应的邮箱 提前准备两个Ex ......
邮件 Kettle

Kettle arm M2 9.4 完美支持

java 1.8.0_202 安装 brew install kettle 启动 /usr/local/Cellar/kettle/9.4.0.0-343/libexec/spoon.sh // 后台运行 brew services start kettle // 前台运行 KETTLE_HOME= ......
Kettle 9.4 arm M2

kettle从入门到精通 第二十九课 job 循环 检验字段的值

1、平常我们在用kettle设计job的时候,会用到循环来处理一些业务逻辑,比如循环检测某个表中的数据条数等。这个时候就会用到一个特别重要的步骤:检验字段的值。 下图是一个的通过初始化DNOE变量为false,等待3s之后更新DONE变量为true的一个循环demo。 2、设置变量步骤,可以从属性文 ......
字段 kettle job

Kettle用查出来的数据自动创建表

​Kettle在表输入的时候,写好很复杂的SQL,有种场景,就是想把这个很复杂的查出来的数据,自动创建一个表。 其实,操作步骤不复杂。 跟着我来做就是了。 1,新建表输出,Shift按住,从表输入拖动箭头到表输出,打开表输出属性,指定数据库,输入需要创建的目标表名。 2,点击右下角SQL,自动出来创 ......
数据 Kettle

kettle从入门到精通 第二十八课 初识kettle-job

1、前面我们一起学习了,很多转换的知识,转换为批量的开发做铺垫,今天我们一起来学习下kettle job的知识。 kettle job 常用的步骤如下图,有Start、转换、作业、成功等步骤。 2、下面是一个简单的批量设计图,用到了Start、转换、作业、成功四个步骤。 Start:可以设置执行策略 ......
kettle kettle-job job

kettle从入门到精通 第二十七课 邮件发送

1、我们平常在做数据同步的时候,担心转换或者job没有正常运行,需要加上监控机制,这个时候就会用到邮件功能。 下图是一个简单的测试邮件发送功能的转换。在kettle.properties文件中设置邮件参数,通过邮件步骤进行发送。 2、地址参数配置 步骤名称此步骤在转换工作区中显示的名称。目标地址电子 ......
邮件 kettle

Kettle

一、定义 ETL(Extract-Transform-Load的缩写,即数据==抽取、转换、装载==的过程),对于企业或行业应用来说,我们经常会遇到各种数据的处理,转换,迁移,所以了解并掌握一种etl工具的使用,必不可少的,Kettle就是强大的ETL工具。 Kettle是一款国外开源的ETL工具。 ......
Kettle

kettle从入门到精通 第二十六课 再谈 kettle Transformation executor

1、前面文章有学习过Transformation executor ,但后来测试kettle性能的时候遇到了很大的问题,此步骤的处理性能太慢,导致内存溢出等问题。所以再次一起学习下此步骤的用法。 2、 如下图中rds-sametable-同步逻辑处理使用的是Transformation execut ......
kettle Transformation executor

kettle使用时间戳增量回滚同步,实现增删改数据同步

转载:https://zhuanlan.zhihu.com/p/104352273 0. 前言 本文介绍了使用Kettle对一张业务表数据(500万条数据以上)进行实时(10秒)同步,采用了时间戳增量回滚同步的方法。关于ETL和Kettle的入门知识大家可以阅读相关的blog和文档学习。 1. 时间 ......
增量 时间 数据 kettle

kettle从入门到精通 第二十四课 kettle 部署生产常用命令

一、设置KETTLE_HOME环境变量 假设kettle软件目录为/xxx/data-integration vi ~/.bash_profile export KETTLE_HOME=/xxx/data-integration/config source ~/.bash_profile echo ......
kettle 命令 常用

Mac M2 启动 kettle web 服务 cart

查看本地资料库配置 <?xml version="1.0" encoding="UTF-8"?> <repositories> <connection> <name>dses_etldb</name> <server>10.132.81.199</server> <type>MYSQL</type> ......
kettle cart Mac web M2

kettle的定时任务job作业

Job定时任务:新建作业,通用,选择插件:/19 09:43:20 - jobs-1 - 完成作业项[成功] (结果=[true])2023/12/19 09:43:20 - jobs-1 - 完成作业项[转换] (结果=[true])2023/12/19 09:43:20 - jobs-1 - j ......
任务 kettle job

kettle组件控制操作MySQL

使用kettle执行脚本:然后保存执行实现以下效果;转换参数:实现变量转换:delete from test where userid='${userid}';实现效果:100被删除 ......
组件 kettle MySQL

kettle更新组件(insert_update)

2种装载方式:全量装载和增量装载插入更新 与 表到表区别:表到表:只追加数据,不管表里重不重复插入更新: 对比关键字段,更新所有数据(不会删除)创建数据流:需求:表输入组件只是将数据追加装载到表中,并不是我们想要的更新数据:如下:插入/更新 匹配关键字 id = id保留关键字的字段,用来匹配唯一数 ......
insert_update 组件 kettle insert update

kettle从入门到精通 第二十三课 kettle carte 错误(java.lang.OutOfMemoryError: GC overhead limit exceeded,Could not emit buffer due to lack of requests,java heap space)分析

1、Could not emit buffer due to lack of requests(无法发出缓冲区,因为请求不足。) 原因有两点:1)消费者处理数据能力较弱,如表输出步骤。2)消费者没有处理数据,如传递的数据中有字段type=1的数据,这种情况没有处理。 解放方案:针对 1)采用多线程处 ......

kettle从入门到精通 第二十二课 kettle carte web服务中文乱码

在windows 上面 carte服务的canvas画布展示的中文正常,但是在linux上面中文展示乱码,如下所示: 原因:linux 机器缺少字体所致。 kettle源码中使用字体: 解决方法: 安装字体即可,无需重启机器,参考如下连接安装字体https://blog.csdn.net/weixi ......
kettle 乱码 carte web

[ETL] [kettle] [dbeaver] 安装配置中的一些问题

java: 8 & 17 kettle: 8.3 (java8) mysql: 8.0 mysql-connetor-java: 8.0+ dbeaver: 23.3 (java17) 标准流程:下载,解压,点击,启动,连接数据库,干活 DBeaver: java版本不符,请使用java17 or ......
dbeaver kettle 问题 ETL

在Kettle(PDI)中使用IDEA或VS Code编写自定义Java代码协助转换

在 Kettle(PDI)中使用 IDEA 或 VS Code 编写自定义 Java 代码协助转换 笔者最近正在学习数据仓库课程,其中某项作业要求笔者使用 Kettle 工具来对数据进行 ETL。Kettle 是一个很强大的工具,但是对一些比较复杂的数据转换和处理操作来说,相比于研究如何利用 Ket ......
代码 Kettle IDEA Code Java

Kettle 下载安装及连接Oracle

1.Kettle 下载安装 官网地址:https://sourceforge.net/projects/pentaho/ 下载后解压,双击data-integration,找到spoon.bat进行双击,稍等几秒就可以显示界面 2.Oracle数据库连接 下载oracle的jar包,放至lib目录下 ......
Kettle Oracle

利用 kettle 对 oracle 实现字符串的脱敏和对称加密

脱敏要求 对身份证进行 ASE加密处理 对手机号 只显示前三位和后四位 其余使用**** 代替 对于职业只显示 前三个字 对于真实姓名只显示展示一位即可 kettle 建立转换 表输入 表输出 ASE加密 选择组件 密钥转换 密钥必须是 16 进制 且大于 16 个字节 配置字段和加密算法 对于掩码 ......
字符串 字符 kettle oracle

ETL处理工具-kettle使用

ETL处理工具-kettle使用 一、Kettle介绍 kettle是一个ETL工具,ETL的全称为(Extract-Transform-Load),用来描述将数据从来源端经过 抽取(extract)、转换(transform)、加载(load)至目的端的过程。ETL是将业务系统的数据经过抽取、清洗 ......
工具 kettle ETL

利用kettle工具对多个excel文件进行合并

一、打开绿色软件kettle(双击文件Spoon.bat),然后点击 文件 》 新建 》转换 。 二、把左边的“Excel 输入” 拖到右边的工作区。 三、把左边的“Excel 输出” 也拖到右边的工作区。 四、按住 Excel输入 同时按住Shift键,然后出现向右的箭头,然后把该箭头向右延申到  ......
多个 文件 工具 kettle excel

利用kettle工具,把文本文件保存有股票代码的数据传送到Oracle表里保存

利用kettle工具,把文本文件保存有股票代码的数据传送到Oracle表里保存。 以下为思路提供,因为涉及我的知识版权,所以不能完全公开具体的操作方法,只能提供大概思路,仅供参考,不构成任何买卖依据。 一、先从某APP 下载数据,以文本文件格式保存到本地盘。(至于如何下载,这个暂时不公开方法。) 二 ......
表里 文本 代码 文件 工具

ETL工具kettle的妙用

以下为思路提供,因为涉及我的知识版权,所以不能完全公开具体的操作方法,只能提供大概思路,仅供参考,不构成任何买卖依据。 一、先从APP开盘啦 下载数据,以文本文件格式保存到本地盘。(至于如何下载,这个暂时不公开方法。) 二、1.txt文件内容的格式,对应某一个热门板块,以方便后面用kettle ET ......
妙用 工具 kettle ETL

kettle/ckettle进行参数对称加解密-AES为例

ckettle/kettle字段加密对称加密机制 方法调用链 kettle-core-2.3.0.1-SNAPSHOT.jar: 进行秘钥加密保护(不涉及实际业务处理) org.pentaho.di.core.encryption.Encr org.pentaho.di.core.encryptio ......
参数 ckettle kettle AES

Kettle链接SqlServer+Jdk8 问题解决

这两天要弄个ldap对接, 客户端 server2016,数据库那边 win server 2008,数据库也是2008 最开是链接出现类似这样的,更换了链接mssql的 Jar版本,从12换到了6的老版本,没用。 后来更改网上提示的 C:\Program Files\Java\jre-1.8\li ......
SqlServer 链接 Kettle 问题 Jdk8

linux centos7kettle使用Carte

1.下载安装kettle的方法请自行百度 2.启动carte服务 进入kettle目录 cd /opt/data-integration 方式一 #windowsCarte.bat ip port#例:Carte.bat 192.168.x.x 8080#linux./carte.sh ip por ......
centos7kettle 7kettle centos7 centos kettle

kettle同步mysql到mysql

上传mysql驱动包到lib目录下 创建表连接 表输入 表输出(没有创建表) 执行表创建表sql ......
mysql kettle

kettle 执行任务的方式

图形化界面 你可以通过双击Spoon(Kettle的图形界面工具)的可执行文件来启动Kettle 图形化界面 可以出处理作业和转换 数据库链接 资源库 命令行 转换 Pan 是Kettle的命令行工具,用于批量执行ETL转换任务。 可以通过命令行参数指定需要执行的转换或作业文件,并提供了丰富的选项来 ......
任务 方式 kettle