ETL異構(gòu)數(shù)據(jù)源Datax_日期增量同步_13
2022-09-06 22:35:50

文章目錄

• ??一、全量同步??

• ??1. 增量同步SQL??
• ??2. 構(gòu)建reader??
• ??3. 構(gòu)建writer??
• ??4. 字段對(duì)應(yīng)關(guān)系映射??
• ??5. 構(gòu)建json??
• ??6. 選擇同步模板??
• ??7. 查詢(xún)最早時(shí)間??
• ??8. 修改任務(wù)信息??
• ??9. 添加增量參數(shù)??
• ??10. 數(shù)據(jù)清理??
• ??11. 執(zhí)行任務(wù)??
• ??12. 查看執(zhí)行日期??
• ??13. 數(shù)據(jù)驗(yàn)證??
• ??15. 查看同步腳本??

• ??二、基于日期增量同步??

• ??2.1. 新增新數(shù)據(jù)??
• ??2.2. 執(zhí)行數(shù)據(jù)同步??
• ??2.3. 查看日志??
• ??2.4. 查看數(shù)據(jù)庫(kù)??
• ??2.5. 日期選取??

一、全量同步

聲明：
以增量方式數(shù)據(jù)同步，第一次是全量同步，從第二次同步開(kāi)始以第一次同步完成后的時(shí)間為開(kāi)始時(shí)間，進(jìn)行增量同步！
注：咱們添加項(xiàng)目、添加任務(wù)模板先用以前的，直接任務(wù)構(gòu)建

1. 增量同步SQL

select IDNO,COL1,COL2,COL3,DT,COL5,COL6,COL7,COL8,COL9,COL10 from otbs1 where dt > to_date(${lastTime},'yyyy-mm-dd hh24:mi:ss') and dt <= to_date(${currentTime},'yyyy-mm-dd hh24:mi:ss')

2. 構(gòu)建reader

構(gòu)建reader，填寫(xiě)增量同步SQL

3. 構(gòu)建writer

4. 字段對(duì)應(yīng)關(guān)系映射

5. 構(gòu)建json

6. 選擇同步模板

基礎(chǔ)模板，可以在執(zhí)行同步前進(jìn)行任務(wù)信息的修改

刷新頁(yè)面

7. 查詢(xún)最早時(shí)間

查詢(xún)同步數(shù)據(jù)的最早時(shí)間和最晚時(shí)間，等會(huì)會(huì)以最早時(shí)間為開(kāi)始時(shí)間進(jìn)行同步

8. 修改任務(wù)信息

9. 添加增量參數(shù)

-DlastTime='%s' -DcurrentTime='%s'

10. 數(shù)據(jù)清理

清空mysql數(shù)據(jù)庫(kù)otbs1表的數(shù)據(jù)

11. 執(zhí)行任務(wù)

12. 查看執(zhí)行日期

如果不顯示就刷新頁(yè)面

13. 數(shù)據(jù)驗(yàn)證

15. 查看同步腳本

存量同步完成之后，查看同步腳本

從圖中可以看出，以增量形式同步全量第一次完成后，開(kāi)始時(shí)間自動(dòng)變更成了當(dāng)前時(shí)間，以后增量同步，就會(huì)一當(dāng)前時(shí)間作為開(kāi)始時(shí)間繼續(xù)增量同步！

二、基于日期增量同步

查詢(xún)數(shù)據(jù)庫(kù)目前idno最大值

1048577

2.1. 新增新數(shù)據(jù)

新增3條數(shù)據(jù)

insert into otbs1 (IDNO, COL1, COL2, COL3, DT, COL5, COL6, COL7, COL8, COL9, COL10)
values ('1048578', '字符串1', '1', '1696248667889', '2021-06-29 13:22:26', '3.141592653578', '字符串2', '字符串3', '字符串4', '字符串5', '字符串6');
insert into otbs1 (IDNO, COL1, COL2, COL3, DT, COL5, COL6, COL7, COL8, COL9, COL10)
values ('1048579', '字符串1', '1', '1696248667889', '2021-06-29 13:22:26', '3.141592653578', '字符串2', '字符串3', '字符串4', '字符串5', '字符串6');
insert into otbs1 (IDNO, COL1, COL2, COL3, DT, COL5, COL6, COL7, COL8, COL9, COL10)
values ('1048580', '字符串1', '1', '1696248667889', '2021-06-29 13:22:26', '3.141592653578', '字符串2', '字符串3', '字符串4', '字符串5', '字符串6');

插入后再次查詢(xún)idno最大值

1048580，在以前基礎(chǔ)上堵了3條數(shù)據(jù)。

2.2. 執(zhí)行數(shù)據(jù)同步

如果，這次增量同步的數(shù)量為3條，就說(shuō)明是增量數(shù)據(jù)同步對(duì)吧

2.3. 查看日志

從同步日志可以看出，只同步了3條數(shù)據(jù)

2.4. 查看數(shù)據(jù)庫(kù)

多了3條數(shù)據(jù)

2.5. 日期選取

找一個(gè)關(guān)鍵的業(yè)務(wù)日期