一种解决数据延迟到达的增量数据同步方法及装置制造方法及图纸

本发明专利技术涉及一种解决数据延迟到达的增量数据同步方法及装置。本方法包括在进行任务配置时预先选定目标端表中某一字段作为业务增量字段、将业务增量字段与源端表中某一时间类型字段建立映射关系、设定初始时间值、构造目标端业务增量字段最大值查询条件、以目标端业务增量字段的最大值作为增量起点构造源端数据初始化查询条件、筛选出本次同步任务源端的增量数据。本方法简便易行、可靠性高，可有效解决源端数据延迟到达的场景下，增量数据同步过程中的数据丢失问题，利用本方法可实现自动化的异构数据源之间的数据初始化及数据增量采集，减少了人工操作，提升了数据采集效率和准确性。确性。确性。

【技术实现步骤摘要】
一种解决数据延迟到达的增量数据同步方法及装置


[0001]本专利技术属于数据同步方法
，尤其涉及一种解决数据延迟到达的增量数据同步方法及装置。

技术介绍

[0002]在增量数据同步过程中，对于源端数据，可能存在延迟到达的情况。根据图4所示，传统的数据同步方案一般是根据一个源端的增量时间字段来构造一个筛选范围进行源端增量数据获取，然而，利用此类方案来处理源端数据延迟到达的情况，经常会造成数据丢失等问题。
[0003]针对上述问题，目前尚未提出理想的解决方案。

技术实现思路

[0004]为了解决传统数据同步方案处理源端数据延迟到达时造成的数据丢失问题，我们提供了一种解决方案。
[0005]本专利技术旨在解决源端数据延迟到达的场景下，增量数据同步过程中数据丢失的问题。本专利技术方法有别于传统的ETL时间戳方式，传统的ETL时间戳方式主要通过记录上一次的最后同步值，并利用该值依据源端表来构建增量数据，而本方案则是在集成任务配置时选定目标端某一个字段作为业务增量字段，在每次同步任务运行前，根据业务增量字段获取该字段的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种解决数据延迟到达的增量数据同步方法，其特征在于，所述方法包括：S1.在进行任务配置时，预先选定目标端表中某一字段作为业务增量字段；S2.将上步选定的业务增量字段与源端表中某一时间类型字段建立映射关系；S3.针对全量初始化同步任务设定初始时间值；S4.针对全量初始化同步任务，根据设定的初始时间值构造全量初始化查询语句，并执行该查询语句获取本次需要同步的全量数据；S5.在第一次增量数据同步任务运行前，根据目标端业务增量字段构造目标端查询语句，并执行该查询语句获取此时该业务增量字段在目标端表中的最大值；S6.以上步获取的业务增量字段在目标端表中的最大值作为第一次源端增量数据筛选的起点值，构造源端增量数据查询语句，并执行该查询语句获取本次需要同步的源端增量数据；S7.后续增量数据同步过程重复S5及S6的步骤，即可进行增量数据同步采集。2.根据权利要求1所述的解决数据延迟到达的增量数据同步方法，其特征在于，步骤S3中所述针对全量初始化同步任务设定初始时间值，当未设定初始时间值时，系统默认初始时间值为当前时间。3.根据权利要求1所述的解决数据延迟到达的增量数据同步方法，其特征在于，步骤S4中所述针对全量初始化同步任务，根据设定的初始时间值构造全量初始化查询语句，并执行该查询语句获取本次需要同步的全量数据，包括根据源端字段以及初始时间值构造查询sql，并执行该查询sql将源端表中相应的时间类型字段中大于和等于初始时间值的数据全量同步到目标端表中。4.根据权利要求1所述的解决数据延迟到达的增量数据同步方法，其特征在于，所述增量数据同步方法中还包括任务运行失败后的自动补偿步骤，包括当增量数据同步任务运行中发生故障导致同步任务运行失败，当次增量数据未正常写入目标端，在下一次增量数据同步任务运行时，依旧从上一次增...

【专利技术属性】
技术研发人员：彭壮，戴博文，吴梦佳，
申请(专利权)人：中电云数智科技有限公司，
类型：发明
国别省市：