一种数据同步管理系统和方法技术方案

本发明专利技术公开了一种数据同步管理系统和方法，系统包括：数据同步任务配置模块、存储模块、调度模块以及执行模块；数据同步任务配置模块，用于确定待处理的数据同步任务，配置数据同步任务的配置参数，生成最终配置的数据同步任务；存储模块，用于将最终配置的数据同步任务保存至数据库；调度模块，用于轮询数据库中符合预设周期内的目标数据同步任务，将目标数据同步任务传递至执行模块；执行模块，用于根据接收的目标数据同步任务进行实例化操作，执行实例化后的数据同步程序，生成数据同步结果，根据数据同步结果进行消息通知。由于本申请集成了多种数据同步功能，从而丰富了数据同步策略，降低了数据同步操作门槛，提升了数据同步效率。同步效率。同步效率。

【技术实现步骤摘要】
一种数据同步管理系统和方法


[0001]本专利技术涉及大数据处理
，特别涉及一种数据同步管理系统和方法。

技术介绍

[0002]随着信息时代的发展，数据在各个行业的运用越来越来，使用范围也越来越广，在不同的环境、不同的系统、不同的数据库之间进行数据同步、迁移需求也越来越多。
[0003]在现有技术中，当下的常见数据同步方案大多数还是存在使用脚本、程序硬编码、功能单一等问题，存在使用技术门槛要求高，操作流程复杂，从而降低了数据同步效率。

技术实现思路

[0004]本申请实施例提供了一种数据同步管理系统和方法。为了对披露的实施例的一些方面有一个基本的理解，下面给出了简单的概括。该概括部分不是泛泛评述，也不是要确定关键/重要组成元素或描绘这些实施例的保护范围。其唯一目的是用简单的形式呈现一些概念，以此作为后面的详细说明的序言。
[0005]第一方面，本申请实施例提供了一种数据同步管理系统，系统包括：
[0006]数据同步任务配置模块、存储模块、调度模块以及执行模块；其中，
[0007]数据同步任务配置模块、存储模块、调度模块以及执行模块通信连接；
[0008]数据同步任务配置模块，用于确定待处理的数据同步任务，并配置数据同步任务的配置参数，生成最终配置的数据同步任务；
[0009]存储模块，用于将最终配置的数据同步任务保存至数据库，以供调度模块在预设时刻进行调度；
[0010]调度模块，用于轮询数据库中符合预设周期内的目标数据同步任务，并将目标数据同步任务传递至执行模块；
[0011]执行模块，用于根据接收的目标数据同步任务进行实例化操作，并执行实例化后的数据同步程序，生成数据同步结果，并根据数据同步结果进行消息通知。
[0012]可选的，配置数据同步任务的配置参数，生成最终配置的数据同步任务，包括：
[0013]创建数据同步任务的目标执行器、目标数据源插件、目标数据转换插件、目标数据接收插件；
[0014]获取并配置数据同步任务的调度参数和调度周期；
[0015]将目标执行器、目标数据源插件、目标数据转换插件、目标数据接收插件、调度参数和调度周期确定为数据同步任务的配置参数，配置结束后得到最终配置的数据同步任务。
[0016]可选的，创建数据同步任务的目标执行器、目标数据源插件、目标数据转换插件、目标数据接收插件，包括：
[0017]确定数据同步任务的执行器，获取并配置执行器所需的执行参数，得到目标执行器；
[0018]确定数据同步任务的数据源插件，获取并配置数据源插件的数据源信息，得到目标数据源插件；
[0019]确定目标执行器的执行器类型，并根据执行器类型将目标执行器配置为目标数据转换插件；
[0020]确定数据同步任务的数据目标插件，获取数据同步任务所需写入的数据目标信息，并将数据目标信息配置到数据目标插件中，得到目标数据接收插件。
[0021]可选的，轮询数据库中符合预设周期内的目标数据同步任务，包括：
[0022]根据预设定时任务读取时刻在数据库读取满足预设条件的数据同步任务；
[0023]根据满足预设条件的数据同步任务的配置参数，生成次日对应时刻的实例任务；
[0024]将实例任务标记为运行状态，并保存至数据库；
[0025]采用轮询法在数据库中实时查询并获取满足当前时刻的目标实例任务；
[0026]当目标实例任务所依赖的全部定时任务运行成功且目标实例任务到达执行时刻时，将目标实例任务确定为符合预设周期内的目标数据同步任务。
[0027]可选的，当目标实例任务所依赖的全部定时任务中任一定时任务运行失败，将目标实例任务标记为等待依赖状态或者等待运行状态，并将目标实例任务重新写入数据库。
[0028]可选的，执行模块包括实例模块；其中，
[0029]实例模块，用于根据接收的目标数据同步任务进行实例化操作，得到实例化后的目标实例任务，并将实例化后的目标实例任务封装为数据同步程序。
[0030]可选的，根据接收的目标数据同步任务进行实例化操作，包括：
[0031]根据目标实例任务获取执行器类型，并利用反射策略构建执行器类；
[0032]设置执行器类的数据源插件、转换插件以及数据目标插件，生成执行器类同步任务；
[0033]将执行器类同步任务确定为实例化后的目标实例任务。
[0034]可选的，执行实例化后的数据同步程序，生成数据同步结果，包括：
[0035]执行执行器类同步任务，生成执行结果；
[0036]当执行结果为执行失败且执行失败次数超过预设失败次数阈值时，将目标实例任务标记为执行失败状态，并将目标实例任务重新写入数据库，以及将执行失败结果确定为数据同步结果；或者，
[0037]当执行结果为执行成功时，将目标实例任务标记为执行成功状态，并将目标实例任务重新写入数据库，以及调取被依赖的下游实例任务，并继续执行采用轮询法在数据库中实时查询并获取满足当前时刻的目标实例任务的步骤，同时将执行成功结果确定为数据同步结果；
[0038]将数据同步结果推送至消息通知模块。
[0039]可选的，系统还包括消息通知模块；
[0040]消息通知模块，用于将接收的数据同步结果确定为实例运行结果，并将实例运行结果进行数据同步运行结果通知。
[0041]第二方面，本申请实施例提供了一种数据同步管理方法，方法包括：
[0042]数据同步任务配置模块确定待处理的数据同步任务，并配置数据同步任务的配置参数，生成最终配置的数据同步任务；
[0043]存储模块将最终配置的数据同步任务保存至数据库，以供调度模块在预设时刻进行调度；
[0044]调度模块轮询数据库中符合预设周期内的目标数据同步任务，并将目标数据同步任务传递至执行模块；
[0045]执行模块根据接收的目标数据同步任务进行实例化操作，并执行实例化后的数据同步程序，生成数据同步结果，并根据数据同步结果进行消息通知。
[0046]本申请实施例提供的技术方案可以包括以下有益效果：
[0047]在本申请实施例中，首先数据同步任务配置模块确定待处理的数据同步任务，并配置数据同步任务的配置参数，生成最终配置的数据同步任务，然后存储模块将最终配置的数据同步任务保存至数据库，以供调度模块在预设时刻进行调度，其次调度模块轮询数据库中符合预设周期内的目标数据同步任务，并将目标数据同步任务传递至执行模块，最后执行模块根据接收的目标数据同步任务进行实例化操作，并执行实例化后的数据同步程序，生成数据同步结果，并根据数据同步结果进行消息通知。由于本申请集成了多种数据同步功能，从而丰富了数据同步策略，降低了数据同步操作门槛，同时调度模块自动轮询数据库中符合要求的数据同步任务自动进行数据同步操作，从而提升了数据同步效率。
[0048]应当理解的是，以上的一般描述和后文的细节描述仅是本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据同步管理系统，其特征在于，所述系统包括：数据同步任务配置模块、存储模块、调度模块以及执行模块；其中，所述数据同步任务配置模块、存储模块、调度模块以及执行模块通信连接；所述数据同步任务配置模块，用于确定待处理的数据同步任务，并配置数据同步任务的配置参数，生成最终配置的数据同步任务；所述存储模块，用于将最终配置的数据同步任务保存至数据库，以供所述调度模块在预设时刻进行调度；所述调度模块，用于轮询数据库中符合预设周期内的目标数据同步任务，并将所述目标数据同步任务传递至所述执行模块；所述执行模块，用于根据接收的目标数据同步任务进行实例化操作，并执行实例化后的数据同步程序，生成数据同步结果，并根据所述数据同步结果进行消息通知。2.根据权利要求1所述的一种数据同步管理系统，其特征在于，配置所述数据同步任务的配置参数，生成最终配置的数据同步任务，包括：创建所述数据同步任务的目标执行器、目标数据源插件、目标数据转换插件、目标数据接收插件；获取并配置所述数据同步任务的调度参数和调度周期；将所述目标执行器、目标数据源插件、目标数据转换插件、目标数据接收插件、调度参数和调度周期确定为所述数据同步任务的配置参数，配置结束后得到最终配置的数据同步任务。3.根据权利要求2所述的方法，其特征在于，创建所述数据同步任务的目标执行器、目标数据源插件、目标数据转换插件、目标数据接收插件，包括：确定所述数据同步任务的执行器，获取并配置所述执行器所需的执行参数，得到目标执行器；确定所述数据同步任务的数据源插件，获取并配置所述数据源插件的数据源信息，得到目标数据源插件；确定所述目标执行器的执行器类型，并根据所述执行器类型将所述目标执行器配置为目标数据转换插件；确定所述数据同步任务的数据目标插件，获取所述数据同步任务所需写入的数据目标信息，并将所述数据目标信息配置到所述数据目标插件中，得到目标数据接收插件。4.根据权利要求1所述的一种数据同步管理系统，其特征在于，所述轮询数据库中符合预设周期内的目标数据同步任务，包括：根据预设定时任务读取时刻在数据库读取满足预设条件的数据同步任务；根据满足预设条件的数据同步任务的配置参数，生成次日对应时刻的实例任务；将所述实例任务标记为运行状态，并保存至数据库；采用轮询法在数据库中实时查询并获取满足当前时刻的目标实例任务；当所述目标实例任务所依赖的全部定时任务运行成功且所述目标实例任务到达执行时刻时，将所述目标实例任务确定为符合预设周期内...

【专利技术属性】
技术研发人员：彭超平，肖中南，夏曙东，陈利玲，冯新平，张志平，
申请(专利权)人：北京中交兴路信息科技有限公司，
类型：发明
国别省市：