基于kettle的数据同步方法、装置及相关设备制造方法及图纸

本发明专利技术涉及大数据领域，具体涉及一种基于kettle的数据同步方法、装置及计算机设备、存储介质，所述方法包括：获取源数据库的源数据；判断所述源数据是否加工完成，若所述源数据加工完成，则判断是否有需要同步的数据；若有需要同步的数据，则通过kettle同步所述需要同步的数据到目标数据库；若所述源数据未加工完成，则循环等待所述源数据加工完成。本发明专利技术提供的基于kettle的数据同步方案直接从源数据将数据按条件同步到目标库，能够解决不能判断数据是否已加工的问题；通过判断是否有需要同步的数据，能够避免直接同步浪费资源的情况。

Data synchronization method, device and related equipment based on kettle

【技术实现步骤摘要】
基于kettle的数据同步方法、装置及相关设备
本专利技术涉及大数据领域，尤其涉及一种基于kettle的数据同步方法、装置及计算机设备、存储介质。
技术介绍
目前，各大金融公司为满足财务数据的统计处理都会搭建一个平台，进而将日报、月报、预测等功能整合。这些功能的实现基于底层指标数据的加工，指标数据有的存在不同的数据库中，这时需要将其按规则同步到同一个数据库上，主要是基于kettle同步数据实现，常见的方案是直接从数据源将数据按条件同步到目标数据库，但在实际的项目中，现有的实现方式无法有效保证数据同步的正确性。
技术实现思路
本专利技术实施例提供一种基于kettle的数据同步方法、装置及计算机设备、存储介质，以解决现有技术中不能有效保证数据同步的正确性的问题。第一方面，本专利技术实施例提供一种基于kettle的数据同步方法，包括：获取源数据库的源数据；判断所述源数据是否加工完成，若所述源数据加工完成，则判断是否有需要同步的数据；若有需要同步的数据，则通过kettle同步所述需要同步的数据到目标数据库；若所述源数据未加工完成，则循环等待所述源数据加工完成。作为本专利技术可实施的方式，所述获取源数据库的源数据包括：通过源数据库提供的数据接口从所述源数据库中获取所述源数据。作为本专利技术可实施的方式，所述判断所述源数据是否加工完成包括：获取加工日志表；从所述加工日志表中读取所述源数据的加工状态；根据所述加工状态判断所述源数据是否加工完成。作为本专利技术可实施的方式，所述若所述源数据加工完成，则判断是否有需要同步的数据包括:获取数据同步标识；根据所述数据同步标识判断是否有需要同步的数据；若所述数据同步标识显示有需要同步的数据，则确定需要同步的数据。作为本专利技术可实施的方式，所述若有需要同步的数据，则通过kettle同步所述需要同步的数据到目标数据库包括：若有需要同步的数据，则增量同步所述需要同步的数据到目标数据库。作为本专利技术可实施的方式，在同步数据到目标数据库之前，所述方法包括：获取待同步的数据库中的数据；将所述数据转换为键值对；将所述键值对输入目标数据库，确定完成按目标数据库的数据格式将待同步的数据进行转换。作为本专利技术可实施的方式，所述方法还包括：若循环等待数据加工超过预先设定的等待时间阈值，则结束等待。第二方面，本专利技术实施例提供一种基于kettle的数据同步装置，包括：获取模块，用于获取源数据库的源数据；判断模块，用于判断所述源数据是否加工完成，若所述源数据加工完成，则判断是否有需要同步的数据；同步模块，用于若有需要同步的数据，则通过kettle同步所述需要同步的数据到目标数据库；循环等待模块，用于若所述源数据未加工完成，则循环等待所述源数据加工完成。第三方面，本专利技术实施例提供一种计算机设备，包括：至少一个处理器；以及，与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的计算机可读指令，所述计算机可读指令被所述至少一个处理器执行时，使得所述至少一个处理器执行上述的基于kettle的数据同步方法。第四方面，本专利技术实施例提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机可读指令，所述计算机可读指令被至少一个处理器执行时实现如上所述的基于kettle的数据同步方法。根据本专利技术实施例提供的基于kettle的数据同步方法、装置及计算机设备、存储介质，通过获取源数据库的源数据；判断所述源数据是否加工完成，若所述源数据加工完成，则判断是否有需要同步的数据；若有需要同步的数据，则通过kettle同步所述需要同步的数据到目标数据库；若所述源数据未加工完成，则循环等待所述源数据加工完成。本专利技术提供的基于kettle的数据同步方法从源数据将数据按条件同步到目标数据库，能够解决不能判断数据是否已加工的问题；通过判断是否有需要同步的数据，能够避免直接同步浪费资源的情况。附图说明为了更清楚地说明本专利技术的方案，下面将对实施例描述中所需要使用的附图做一个简单介绍，显而易见地，下面描述中的附图是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1为本专利技术实施例提供的基于kettle的数据同步方法的流程图；图2为本专利技术实施例提供的基于kettle的数据同步装置的示意图；图3本专利技术实施例提供的计算机设备的结构示意图。具体实施方式为了使本
的人员更好地理解本专利技术方案，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述。除非另有定义，本文所使用的所有的技术和科学术语与属于本专利技术的
的技术人员通常理解的含义相同。在说明书中的各个位置出现的“实施例”该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。本专利技术实施例提供一种基于kettle的数据同步方法，用于将数据从源数据按条件同步到目标数据库，通过判断是否有需要同步的数据，避免直接同步浪费资源。如图1所示，所述基于kettle的数据同步方法包括：S1、获取源数据库的源数据。本实施例中，源数据库是相对于目标数据库而言的，这两个(或多个)数据库可以在同一台计算机或服务器上，也可以不在同一台计算机或服务器上，通过网络连通组成分布式的数据库系统。源数据库中的源数据加工后可以同步到目标数据库进行备份或供其他业务使用。进一步的，上述源数据库和目标数据库可以是同构的，也可以是异构的，即可以是同一种数据库，如关系型数据库ORACLE、MYSQL等，还可以是非关系型数据库Hbase。可选地，获取源数据库的源数据包括：通过源数据库提供的数据接口从所述源数据库中获取所述源数据。首先需要连接接口连接上源数据库，所述连接接口可以由kettle可视化界面提供，然后通过查询、读取的接口来获取源数据。所述源数据库提供的数据接口包括：连接源数据库的接口以及参数，如Connectionname连接名称、Connectiontype需要连接的数据库、Methodofaccess连接类型、Serverhostname数据库服务器的ip地址、Databasename数据库名、Portnumber端口号、Username用户名、Password密码等；数据查询接口、读取接口则是连上数据库后操作数据库的sql语句，例如基于oracle数据库的sql查询语句，select*from表Awhere条件限制。S2、判断所述源数据是否加工完成，若所述源数据加工完成，则判断是否有需要同步的数据。其中，所述判断所述源数据是否加工完成包括：...

【技术保护点】
1.一种基于kettle的数据同步方法，其特征在于，所述方法包括：/n获取源数据库的源数据；/n判断所述源数据是否加工完成，若所述源数据加工完成，则判断是否有需要同步的数据；/n若有需要同步的数据，则通过kettle同步所述需要同步的数据到目标数据库；/n若所述源数据未加工完成，则循环等待所述源数据加工完成。/n

【技术特征摘要】
1.一种基于kettle的数据同步方法，其特征在于，所述方法包括：
获取源数据库的源数据；
判断所述源数据是否加工完成，若所述源数据加工完成，则判断是否有需要同步的数据；
若有需要同步的数据，则通过kettle同步所述需要同步的数据到目标数据库；
若所述源数据未加工完成，则循环等待所述源数据加工完成。


2.根据权利要求1所述的基于kettle的数据同步方法，其特征在于，所述获取源数据库的源数据包括：
通过源数据库提供的数据接口从所述源数据库中获取所述源数据。


3.根据权利要求1所述的基于kettle的数据同步方法，其特征在于，所述判断所述源数据是否加工完成包括：所述方法包括:
获取加工日志表；
从所述加工日志表中读取所述源数据的加工状态；
根据所述加工状态判断所述源数据是否加工完成。


4.根据权利要求3所述的基于kettle的数据同步方法，其特征在于，所述若所述源数据加工完成，则判断是否有需要同步的数据包括:
获取数据同步标识；
根据所述数据同步标识判断是否有需要同步的数据；
若所述数据同步标识显示有需要同步的数据，则确定需要同步的数据。


5.根据权利要求1所述的基于kettle的数据同步方法，其特征在于，所述若有需要同步的数据，则通过kettle同步所述需要同步的数据到目标数据库包括：
若有需要同步的数据，则增量同步所述需要同步的数据到目标数据库。


6.根据权利要求5所述的基于...

【专利技术属性】
技术研发人员：张海涛，
申请(专利权)人：中国平安财产保险股份有限公司，
类型：发明
国别省市：广东;44