首页 > 其他 > 详细

ETL增量单表同步简述_根据timestamp增量

时间:2017-05-19 17:28:39      阅读:322      评论:0      收藏:0      [点我收藏+]

ETL增量单表同步简述

1. 实现需求

当原数据库的表有新增、更新、删除操作时,将改动数据同步到目标库对应的数据表。

2. 设计思路

设计总体流程图如下:

 技术分享

步骤简单说明:

1、设置job的执行属性,如下图:

 技术分享

2、根据要同步的表名,更新同步配置表synConfigendTime

 技术分享

3、根据beginTimeendTime获取同步时间段。

 技术分享

技术分享

4、、根据比较原表和目标表数据的差异性,进行删除目标表的数据。

 技术分享

6、更新提取的开始时间,将上次提取的结束时间更新到开始时间。

 技术分享

3. 必备条件

1、目标数据库的表结构与原数据库相同;

2、同步的表要有syncTime字段,且数据类型为timstamp

4. 具体实现

4.1. 同步配置表设计

创建同步配置表synConfig如图所示:

 技术分享

字段说明如下:

?name:要同步的数据表名字。

beginTime:同步开始时间。

endTime:同步结束时间。

建表sql如下:

同步配置表synConfig建表sql

create table synConfig(

name   varchar(200) not null,

beginTime varbinary(100),

endTime varbinary(100),

constraint pk_synConfig primary key nonclustered (name)

);

--修改原表,追加同步字段

alter table tableName add synTime(timestamp)

4.2. 软件安装

1、Jdk

2、Kettle同步工具

说明:

kettle7版本要求jdk必须为1.8以上。

详细可参考官网:http://community.pentaho.com/projects/data-integration/

ETL增量单表同步简述_根据timestamp增量

原文:http://www.cnblogs.com/xmqa/p/6879444.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!