一种数据同步方法、系统、终端设备及存储介质技术方案

本申请适用于数据处理技术领域，提供了一种数据同步方法、系统及终端设备，包括：根据数据同步任务确定配置信息以对同步对象进行配置；基于配置后的源数据库系统及同步数据创建并执行数据采集任务；基于同步对象之间的数据转换协议对采集到同步数据进行转换；基于转换后的数据和配置后的目标数据库系统创建数据分发任务，通过配置信息确定不同数据库系统之间的数据转换协议，源数据库系统的接口如果发生变动或目标数据库系统有新的需求时，只需要新增或变更配置文件中的配置信息就能够可实现不同数据库系统间数据的同步需求，无需重新开发接口，提高不同数据库系统之间数据同步的效率，同能够减少资源浪费。同能够减少资源浪费。同能够减少资源浪费。

【技术实现步骤摘要】
一种数据同步方法、系统、终端设备及存储介质


[0001]本申请属于数据处理
，尤其涉及一种数据同步方法、系统、终端设备及计算机可读存储介质。

技术介绍

[0002]不同的数据库系统因功能和开发模式的不同，所产生的数据结构也会不同，这就会导致不同的数据库系统之间的数据同步存在困难。传统的跨系统数据同步方式通常通过接口来实现，即在目标数据库系统与源数据库系统之间设置接口，以实现数据调用和同步，然而这需要在某一侧开发相应的接口供另一侧调用，源数据库系统的接口如果发生变动或目标数据库系统有新的需求时，就需要重新开发接口。而且对于同一数据源同步到不同系统或节点，或不同系统或节点采集的数据同步到同一目标数据库系统，也需要既浪费资源，也无法保证效率。

技术实现思路

[0003]本申请实施例提供了一种数据同步方法、系统、终端设备及计算机可读存储介质，可以解决目前不同类型数据库系统之间进行数据同步时存在资源浪费和同步效率低的问题。
[0004]第一方面，本申请实施例提供了一种数据同步方法，包括：
[0005]根据数据同步任务确定配置信息以对同步对象进行配置；所述数据同步任务包括同步对象和同步数据，所述同步对象包括源数据库系统和目标数据库系统，所述配置信息包括所述同步对象之间的数据转换协议；
[0006]基于配置后的源数据库系统及同步数据创建并执行数据采集任务；
[0007]基于所述同步对象之间的数据转换协议对采集到同步数据进行转换；
[0008]基于转换后的数据和配置后的目标数据库系统创建数据分发任务；
[0009]执行所述数据分发任务，完成数据同步。
[0010]可选的，所述根据数据同步任务确定配置信息以对同步对象进行配置，包括：
[0011]获取配置文件，并根据数据同步任务确定同步对象；
[0012]从所述配置文件中确定与所述同步对象对应的配置信息；
[0013]根据所述配置信息对同步对象进行配置，得到配置后的源数据库系统和配置后的目标数据库系统。
[0014]可选的，所述数据同步任务为一对多、多对一或者多对多的数据同步任务，所述根据数据同步任务确定配置信息包括：
[0015]当所述数据同步任务为一对多的数据同步任务时，确定同一源数据库系统与不同目标数据库系统的配置信息；
[0016]当所述数据同步任务为多对一的数据同步任务时，确定不同源数据库系统与同一目标数据库系统的配置信息；
[0017]当所述数据同步任务为多对多的数据同步任务时，确定不同源数据库系统与不同目标数据库系统的配置信息。
[0018]可选的，基于配置后的源数据库系统及同步数据创建并执行数据采集任务，包括：
[0019]获取数据采集任务队列中各个数据采集任务的优先级；
[0020]若数据采集任务队列中各个数据采集任务的优先级一致，则基于数据采集任务的创建时间确定数据采集任务的执行顺序；
[0021]若所述采集任务队列中各个数据采集任务的优先级不一致，则基于数据采集任务的优先级确定数据采集任务的执行顺序。
[0022]可选的，所述基于转换后的数据和配置后的目标数据库系统创建数据分发任务，包括：
[0023]根据转换后的数据确定目标数据库系统的目标字段；
[0024]根据配置后的目标数据库系统确定分发对象；
[0025]根据所述目标数据库系统的目标字段和所述分发对象创建数据分发任务，并将数据分发任务发送至任务分发队列。
[0026]可选地，在所述基于所述同步对象之间的数据转换协议对采集到同步数据进行转换之前，还包括：
[0027]判断同步的数据库表结构信息是否一致；
[0028]若同步的数据库表信息一致，则根据数据转换协议转换数据类型，否则执行基于所述同步对象之间的数据转换协议对采集到同步数据进行转换。
[0029]可选的，在所述执行所述数据分发任务，完成数据同步之后，还包括：
[0030]创建数据查重任务，并将数据查重任务发送至目标数据库系统。
[0031]第二方面，本申请实施例提供了一种数据同步系统，包括：
[0032]配置单元，用于根据数据同步任务确定配置信息以对同步对象进行配置；所述数据同步任务包括同步对象和同步数据，所述同步对象包括源数据库系统和目标数据库系统，所述配置信息包括所述同步对象之间的数据转换协议；
[0033]采集单元，用于基于配置后的源数据库系统及同步数据创建并执行数据采集任务；
[0034]转换单元，用于基于所述同步对象之间的数据转换协议对采集到同步数据进行转换；
[0035]分发单元，用于基于转换后的数据和配置后的目标数据库系统创建数据分发任务；
[0036]同步单元，用于执行所述数据分发任务，完成数据同步。
[0037]第三方面，本申请实施例提供了一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，上述处理器执行所述计算机程序时实现如上述第一方面中任一项所述的数据同步方法的步骤。
[0038]第四方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如上述第一方面中任一项所述的数据同步方法的步骤。
[0039]第五方面，本申请实施例提供了一种计算机程序产品，当计算机程序产品在终端
设备上运行时，使得终端设备可执行上述第一方面中任一项所述的数据同步方法。
[0040]本申请实施例与现有技术相比存在的有益效果是：
[0041]本申请实施例提供的一种数据同步方法，能够通过配置信息确定不同数据库系统之间的数据转换协议和读写数据接口，源数据库系统的接口如果发生变动或目标数据库系统有新的需求时，只需要新增或变更配置文件中的配置信息就能够可实现不同数据库系统间数据的同步需求，无需重新开发接口，提高不同数据库系统之间数据同步的效率，同能够满足多对一、一对多以及多对多的数据同步需求，减少资源浪费的同时提高同步效率。
附图说明
[0042]为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0043]图1是本申请一实施例提供的数据同步方法的应用场景示意图；
[0044]图2是本申请一实施例提供的一种数据同步方法的实现流程示意图；
[0045]图3示出本申请一实施例提供的另一种数据同步方法的实现流程示意图；
[0046]图4示出本申请一实施例提供的又一种数据同步方法的实现流程示意图；
[0047]图5示出本申请一实施例提供的数据同步系统的结构示意图；
[0048]图6是本申请一实施例提供的终端设备的结构示意本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据同步方法，其特征在于，包括：根据数据同步任务确定配置信息以对同步对象进行配置；所述数据同步任务包括同步对象和同步数据，所述同步对象包括源数据库系统和目标数据库系统，所述配置信息包括所述同步对象之间的数据转换协议；基于配置后的源数据库系统及同步数据创建并执行数据采集任务；基于所述同步对象之间的数据转换协议对采集到同步数据进行转换；基于转换后的数据和配置后的目标数据库系统创建数据分发任务；执行所述数据分发任务，完成数据同步。2.如权利要求1所述的数据同步方法，其特征在于，所述根据数据同步任务确定配置信息以对同步对象进行配置，包括：获取配置文件，并根据数据同步任务确定同步对象；从所述配置文件中确定与所述同步对象对应的配置信息；根据所述配置信息对同步对象进行配置，得到配置后的源数据库系统和配置后的目标数据库系统。3.如权利要求1所述的数据同步方法，其特征在于，所述数据同步任务为一对多、多对一或者多对多的数据同步任务，所述根据数据同步任务确定配置信息包括：当所述数据同步任务为一对多的数据同步任务时，确定同一源数据库系统与不同目标数据库系统的配置信息；当所述数据同步任务为多对一的数据同步任务时，确定不同源数据库系统与同一目标数据库系统的配置信息；当所述数据同步任务为多对多的数据同步任务时，确定不同源数据库系统与不同目标数据库系统的配置信息。4.如权利要求1所述的数据同步方法，其特征在于，所述基于配置后的源数据库系统及同步数据创建并执行数据采集任务，包括：获取数据采集任务队列中各个数据采集任务的优先级；若数据采集任务队列中各个数据采集任务的优先级一致，则基于数据采集任务的创建时间确定数据采集任务的执行顺序；若所述采集任务队列中各个数据采集任务的优先级不一致，则基于数据采集任务的优先级确定数据采集任务的执行顺序。5.如权利要求1所述的数据同步方法，其特征在于，所述基于转...

【专利技术属性】
技术研发人员：朱胜元，
申请(专利权)人：平安证券股份有限公司，
类型：发明
国别省市：