首页 > 其他 > 详细

Kettle】Kettle入门解析(一)

时间:2020-10-20 21:12:56      阅读:82      评论:0      收藏:0      [点我收藏+]

Kettle】Kettle入门解析(一)

技术分享图片

想要看懂这本书,需要先把自己实力巩固上去,所以我们来学习一下Kettle吧QAQ??????

(图片来源于网络,侵删)


一、Kettle概述

【1】什么是Kettle?

Kettle是一款国外开源的ETL工具,纯Java编写,可以在Window、Linux、Unix上运行,绿色无需安装,数据抽取高效稳定

【2】Kettle核心知识

1)Kettle工程存储方式

1、以XML形式存储
2、以资源库方式存储(数据库资源库和文件资源库)

2)Kettle的两种设计

技术分享图片

3)Kettle的组成

技术分享图片

4)Kettle特点

技术分享图片


二、Kettle安装部署

【1】Kettle安装地址

1)官网地址

https://community.hitachivantara.com/docs/DOC-1009855
  • 1

2)下载地址

https://sourceforge.net/projects/pentaho/files/Data%20Integration/
  • 1

【2】Windows下安装使用

1) 概述

在实际企业开发中,都是在本地环境下进行Kettle的JobTransformation开发的,可以在本地运行,也可以连接远程机器运行

2)安装

  • 1)安装JDK
  • 2)下载Kettle压缩包,因Kettle为绿色软件,解压缩到任意本地路径即可(路径不要有中文)
  • 3)双击Spoon.bat,启动图形化界面工具,就可以直接使用了(第一次启动可能有点慢,属于正常现象)

三、Kettle入门案例

案例一:把MySQL中stu1的数据按id同步到stu2,stu2有相同id则更新数据

(1) 将MySQL驱动Jar包放到Kettle的lib目录下,然后重启Kettle

技术分享图片

(2) 在mysql中创建两张表stu1、stu2

create database kettle;

use kettle;

create table stu1(id int,name varchar(20),age int);

create table stu2(id int,name varchar(20));
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7

(3) 往两张表中插入一些数据

insert into stu1 values(1001,‘zhangsan‘,20),(1002,‘lisi‘,18), (1003,‘wangwu‘,23);

insert into stu2 values(1001,‘wukong‘);
  • 1
  • 2
  • 3

原始数据如下??

技术分享图片技术分享图片

最终效果如下??

技术分享图片技术分享图片

(4) 实战流程如下

技术分享图片
技术分享图片
技术分享图片
技术分享图片
技术分享图片
技术分享图片
技术分享图片
技术分享图片
技术分享图片
技术分享图片
技术分享图片
技术分享图片
技术分享图片

查看MySQL数据库,效果和我们的需求一致,bingo!!!

技术分享图片技术分享图片


案例二:使用Job作业方式调度转换操作,并使用SQL插入数据到stu2

(1) 使用案例1的表,先清空数据

truncate table stu1

truncate table stu2
  • 1
  • 2
  • 3

(2) 往两张表中插入一些数据

insert into stu1 values(1001,‘zhangsan‘,20),(1002,‘lisi‘,18), (1003,‘wangwu‘,23);

insert into stu2 values(1001,‘wukong‘);
  • 1
  • 2
  • 3

(3) 实战流程如下

技术分享图片
技术分享图片
技术分享图片
技术分享图片
技术分享图片
技术分享图片
技术分享图片
技术分享图片

然后执行和之前一样保存,执行,效果如下??

技术分享图片

查看MySQL中的表数据??

技术分享图片

可以看到不仅stu1的数据更新到了stu2中,并且我们自定义的SQL插入操作的数据也存在,再次bingo!!!

案例三:把HDFS中的数据插入到HBase中的表中

技术分享图片
技术分享图片
技术分享图片
技术分享图片
技术分享图片

结果查看:如下图可以发现过滤出了 sal 大于 1000的??

技术分享图片


都看到这里了,点赞评论一下吧

Kettle】Kettle入门解析(一)

原文:https://www.cnblogs.com/Main8/p/13847801.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!