基于kettle的数据同步方法、装置及相关设备制造方法及图纸

本发明专利技术涉及大数据领域，具体涉及一种基于kettle的数据同步方法、装置及计算机设备、存储介质，所述方法包括：获取源数据库的源数据；判断所述源数据是否加工完成，若所述源数据加工完成，则判断是否有需要同步的数据；若有需要同步的数据，则通过kettle同步所述需要同步的数据到目标数据库；若所述源数据未加工完成，则循环等待所述源数据加工完成。本发明专利技术提供的基于kettle的数据同步方案直接从源数据将数据按条件同步到目标库，能够解决不能判断数据是否已加工的问题；通过判断是否有需要同步的数据，能够避免直接同步浪费资源的情况。

Data synchronization method, device and related equipment based on kettle

【技术实现步骤摘要】
基于kettle的数据同步方法、装置及相关设备
本专利技术涉及大数据领域，尤其涉及一种基于kettle的数据同步方法、装置及计算机设备、存储介质。
技术介绍
目前，各大金融公司为满足财务数据的统计处理都会搭建一个平台，进而将日报、月报、预测等功能整合。这些功能的实现基于底层指标数据的加工，指标数据有的存在不同的数据库中，这时需要将其按规则同步到同一个数据库上，主要是基于kettle同步数据实现，常见的方案是直接从数据源将数据按条件同步到目标数据库，但在实际的项目中，现有的实现方式无法有效保证数据同步的正确性。
技术实现思路
本专利技术实施例提供一种基于kettle的数据同步方法、装置及计算机设备、存储介质，以解决现有技术中不能有效保证数据同步的正确性的问题。第一方面，本专利技术实施例提供一种基于kettle的数据同步方法，包括：获取源数据库的源数据；判断所述源数据是否加工完成，若所述源数据加工完成，则判断是否有需要同步的数据；若有需要同步的数据，则通过kettle同步所述需要同步的数据到目标数本文档来自技高网...

【技术保护点】
1.一种基于kettle的数据同步方法，其特征在于，所述方法包括：/n获取源数据库的源数据；/n判断所述源数据是否加工完成，若所述源数据加工完成，则判断是否有需要同步的数据；/n若有需要同步的数据，则通过kettle同步所述需要同步的数据到目标数据库；/n若所述源数据未加工完成，则循环等待所述源数据加工完成。/n

【技术特征摘要】
1.一种基于kettle的数据同步方法，其特征在于，所述方法包括：
获取源数据库的源数据；
判断所述源数据是否加工完成，若所述源数据加工完成，则判断是否有需要同步的数据；
若有需要同步的数据，则通过kettle同步所述需要同步的数据到目标数据库；
若所述源数据未加工完成，则循环等待所述源数据加工完成。


2.根据权利要求1所述的基于kettle的数据同步方法，其特征在于，所述获取源数据库的源数据包括：
通过源数据库提供的数据接口从所述源数据库中获取所述源数据。


3.根据权利要求1所述的基于kettle的数据同步方法，其特征在于，所述判断所述源数据是否加工完成包括：所述方法包括:
获取加工日志表；
从所述加工日志表中读取所述源数据的加工状态；
根据所述加工状态判断所述源数据是否加工完成。


4.根据权利要求3所述的基于kettle的数据同步方法，其特征在于，所述若所述源数据加工完成，则判断是否有需要同步的数据包括:
获取数据同步标识；
根据所述数据同步标识判断是否有需要同步的数据；
若所述数据同步标识显示有需要同步的数据，则确定需要同步的数据。


5.根据权利要求1所述的基于kettle的数据同步方法，其特征在于，所述若有需要同步的数据，则通过kettle同步所述需要同步的数据到目标数据库包括：
若有需要同步的数据，则增量同步所述需要同步的数据到目标数据库。


6.根据权利要求5所述的基于...

【专利技术属性】
技术研发人员：张海涛，
申请(专利权)人：中国平安财产保险股份有限公司，
类型：发明
国别省市：广东;44