一种数据整合方法、装置、电子设备以及存储介质制造方法及图纸

本发明专利技术公开了一种数据整合方法、装置、电子设备以及存储介质，该方法包括：获取源数据库中的变更数据，并将变更数据存储到源数据库表中，得到源数据库表数据；将源数据库表数据同步到卡夫卡服务器中的中间表中，得到中间表数据；向卡夫卡服务器发送数据同步指令，以指示卡夫卡服务器将中间表数据同步到数据整合平台的目标表中，得到目标表数据，以实现源数据库的数据整合。该方法，通过配置服务器等资源，将源数据库中的变更数据同步到数据整合平台的目标表中，数据整合平台可以对多个外部数据系统的异构数据库进行统一的数据管理等操作，提高了源数据库的数据整合精度和效率，提升了数据的价值，具有较高的普适性。具有较高的普适性。具有较高的普适性。

【技术实现步骤摘要】
一种数据整合方法、装置、电子设备以及存储介质


[0001]本专利技术涉及数据处理
，尤其涉及一种数据整合方法、装置、电子设备以及存储介质。

技术介绍

[0002]随着业务数据规模的发展和项目管理的需要，如何将涉及到项目管理的不同系统中的数据进行整合是一个亟待解决的问题。
[0003]现有技术中提供了两种数据整合的方案，其一，通过API(Application ProgrammingInterface，应用程序编程接口)接口进行各系统的数据同步和整合，API接口又分为全量接口和增量接口，但是通过全量接口进行数据同步的性能较差，缺乏时效性，通过增量接口进行数据同步，需要对各系统分别单独开发增量接口，成本较高。其二，通过MQ(Message Queue，消息队列)完成数据同步，各系统识别出变动的数据，并将变动的数据发送至MQ，但是这种方式需要各系统分别识别各自的变动数据，开发成本较高。

技术实现思路

[0004]本专利技术提供了一种数据整合方法、装置、电子设备以及存储介质，以实现对不同系统的数据进行同步和整合，提高数据管理效率。
[0005]第一方面，本专利技术实施例提供了一种数据整合方法，该方法包括：
[0006]获取源数据库中的变更数据，并将所述变更数据存储到源数据库表中，得到源数据库表数据；
[0007]其中，所述源数据库表数据包括字段名称、字段类型以及主键；
[0008]将源数据库表数据同步到卡夫卡服务器中的中间表中，得到中间表数据；
[0009]其中，所述中间表数据包括字段名称、字段类型以及主键；
[0010]向所述卡夫卡服务器发送数据同步指令，以指示所述卡夫卡服务器将所述中间表数据同步到数据整合平台的目标表中，得到目标表数据，以实现源数据库的数据整合；
[0011]其中，所述目标表数据包括字段名称、字段类型以及主键，所述源数据库表数据的主键、所述中间表数据的主键以及所述目标表数据的主键相同。
[0012]第二方面，本专利技术实施例还提供了一种数据整合装置，该装置包括：
[0013]表数据获取模块，用于获取源数据库中的变更数据，并将所述变更数据存储到源数据库表中，得到源数据库表数据；
[0014]中间表数据获取模块，用于将源数据库表数据同步到卡夫卡服务器中的中间表中，得到中间表数据；
[0015]数据整合模块，用于向所述卡夫卡服务器发送数据同步指令，以指示所述卡夫卡服务器将所述中间表数据同步到数据整合平台的目标表中，得到目标表数据，以实现源数据库的数据整合；
[0016]第三方面，本专利技术实施例还提供了一种电子设备，包括存储器、处理器及存储在存
储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如本专利技术实施例中任一所述的一种数据整合方法。
[0017]第四方面，本专利技术实施例还提供了一种存储计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行如本专利技术实施例中任一所述的一种数据整合方法。
[0018]本专利技术实施例的技术方案，通过获取源数据库中的变更数据，并将变更数据存储到源数据库表中，得到源数据库表数据，将源数据库表数据同步到卡夫卡服务器的中间表中，得到中间表数据，向卡夫卡服务器发送数据同步指令，将卡夫卡服务器的中间表数据同步到数据整合平台的目标表中，得到目标表数据，实现源数据库的数据整合。本技术方案，通过配置连接器和服务器等资源，将源数据库中的变更数据同步到数据整合平台的目标表中，数据整合平台可以对多个外部数据系统的异构数据库进行统一的数据管理等操作，提高了源数据库的数据整合精度和效率，提升了数据的价值，具有较高的普适性。
[0019]应当理解，本部分所描述的内容并非旨在标识本专利技术的实施例的关键或重要特征，也不用于限制本专利技术的范围。本专利技术的其它特征将通过以下的说明书而变得容易理解。
附图说明
[0020]为了更清楚地说明本专利技术实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0021]图1是本专利技术实施例一提供的一种数据整合方法的流程图；
[0022]图2是本专利技术实施例二提供的一种数据整合方法的流程图；
[0023]图3是本专利技术实施例提供的一种数据整合方法的风险等级评估方法原理图；
[0024]图4是本专利技术实施例三提供的一种数据整合装置的结构示意图；
[0025]图5是本专利技术实施例四提供的一种电子设备的结构示意图。
具体实施方式
[0026]为了使本
的人员更好地理解本专利技术方案，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分的实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本专利技术保护的范围。
[0027]需要说明的是，本专利技术的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本专利技术的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
[0028]实施例一
[0029]图1为本专利技术实施例一提供了一种数据整合方法的流程图，本实施例可适用于异构数据库的数据同步的情况，该方法可以由一种数据整合装置来执行，该一种数据整合装置可以采用硬件和/或软件的形式实现，该一种数据整合装置可配置于任何具有网络通信功能的电子设备中。
[0030]如图1所示，该方法包括：
[0031]S110、获取源数据库中的变更数据，并将所述变更数据存储到源数据库表中，得到源数据库表数据。
[0032]其中，所述源数据库表数据包括字段名称、字段类型以及主键。
[0033]作为一种可选的但不限定的实现方式，获取源数据库中的变更数据，并将所述变更数据存储到源数据库表中，得到源数据库表数据，可以包括步骤A1
‑
A2：
[0034]步骤A1、通过变更数据捕获功能，获取源数据库中的变更数据。
[0035]其中，变更数据捕获功能可以是从源数据库捕获到数据和数据结构的增量变更的功能。示例性的，当源数据库为SQL(结构化查询语言，Structured Query Language)类型的数据库时，变更数据捕获功能可以用CDC(变更数据捕获，Change Data Capture)，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据整合方法，其特征在于，应用于传输服务器，所述方法包括：获取源数据库中的变更数据，并将所述变更数据存储到源数据库表中，得到源数据库表数据；其中，所述源数据库表数据包括字段名称、字段类型以及主键；将源数据库表数据同步到卡夫卡服务器中的中间表中，得到中间表数据；其中，所述中间表数据包括字段名称、字段类型以及主键；向所述卡夫卡服务器发送数据同步指令，以指示所述卡夫卡服务器将所述中间表数据同步到数据整合平台的目标表中，得到目标表数据，以实现源数据库的数据整合；其中，所述目标表数据包括字段名称、字段类型以及主键，所述源数据库表数据的主键、所述中间表数据的主键以及所述目标表数据的主键相同。2.根据权利要求1所述的方法，其特征在于，在获取源数据库中的变更数据之前，包括：通过分布式流数据处理引擎，配置源数据库连接器，并创建源数据库表；通过分布式流数据处理引擎，配置卡夫卡服务器连接器，并向所述卡夫卡服务器发送建表指令，以创建中间表；通过分布式流数据处理引擎，配置数据整合平台连接器，并向所述数据整合平台发送建表指令，以创建目标表。3.根据权利要求1所述的方法，其特征在于，获取源数据库中的变更数据，并将所述变更数据存储到源数据库表中，得到源数据库表数据，包括：通过变更数据捕获功能，获取源数据库中的变更数据；将所述变更数据存储到源数据库表中，得到源数据库表数据。4.根据权利要求1所述的方法，其特征在于，将源数据库表数据同步到卡夫卡服务器中的中间表中，得到中间表数据，包括：向卡夫卡服务器发送数据插入指令，以将源数...

【专利技术属性】
技术研发人员：陈兴隆，王斌，夏伟，
申请(专利权)人：江苏科瑞恩科技股份有限公司，
类型：发明
国别省市：