数据复制方法、控制节点及电子设备技术

本申请实施例提供一种数据复制方法、控制节点及电子设备，方法包括：实时或定时获取目标数据复制作业对应的作业优先级、作业任务量、源数据库和目标数据库；根据目标数据复制作业的作业优先级及作业任务量在分布式的多个处于可用状态的中转节点中选取至少一个作为用于提取源数据库中数据的第一中转节点，并在处于可用状态的中转节点中选取至少一个作为用于将数据存储至目标数据库的第二中转接点；基于导出节点自第一中转节点中获取源数据库中的与目标数据复制作业对应的目标数据；应用导入接点自第二中转节点将目标数据存储至目标数据库。本申请能够有效提高数据复制的灵活性、适用广泛性及高效性，使得数据能够在不同的数据系统之间高效的流转。

【技术实现步骤摘要】
数据复制方法、控制节点及电子设备
本申请涉及数据处理
，具体涉及数据复制方法、控制节点及电子设备。
技术介绍
随着科技的飞速进步，数据复制技术的发展也呈现出日益强盛之势，这其中，有基于数据库层面的数据复制技术，例如Oracle公司的ActiveDataGurad、IBM公司的db2HADR等；有基于系统层面的数据复制技术，例如赛门铁克的vxvm、传统的逻辑卷管理(LVM)、Oracle公司的自动存储管理(ASM)冗余技术、IBM公司的GPFS等；有基于存储虚拟化实现的数据复制技术，例如EMC公司VplexStretchCluster、IBM公司SVCSplitCluster、NetAPP公司MetroCluster等；也有基于存储底层实现的数据复制技术，例如IBM公司的DS8000PPRC技术、EMC公司的SRDF技术、HP公司的CA技术等等。目前，上述现有的数据复制技术往往需要在进行数据更新之前，根据数量复制的双方数据库的类型搭建一套同步的复制装备，无法灵活的解决应用的数据复制需求，如，定期准实时的备份数据库内某些表，某些表的某些字段，也无法解决异构数据库中的数据同步的需求，如一个批量系统到一个分析系统，从分析系统同步到批量系统，从mysql数据库到oracle数据库，从hadoop到mpp集群，集群与集群之间，数据库与数据库之间，灵活的复制数据。也就是说，现有的数据复制方式因不支持定时复制和异构数据库之间的数据复制，而存在复制过程灵活性及适用性差的问题。
技术实现思路
针对现有技术中的问题，本申请提供一种数据复制方法、控制节点及电子设备，能够有效提高数据复制的灵活性、适用广泛性及高效性，使得数据能够在不同的数据系统之间高效的流转。为解决上述技术问题，本申请提供以下技术方案：第一方面，本申请提供一种数据复制方法，包括：实时或定时获取目标数据复制作业对应的作业优先级、作业任务量、源数据库和目标数据库，其中，所述源数据库和目标数据库属于同源或者异构的数据库集群；根据所述目标数据复制作业的作业优先级及作业任务量，在分布式设置的多个当前处于可用状态的中转节点中选取至少一个作为用于提取所述源数据库中数据的第一中转节点，并在当前处于可用状态的中转节点中选取至少一个作为用于将数据存储至所述目标数据库的第二中转接点，其中，各个所述中转节点分别设置在各个数据库中；基于预设的导出节点自所述第一中转节点中获取所述源数据库中的与所述目标数据复制作业对应的目标数据；应用预设的导入接点自所述第二中转节点将所述目标数据存储至所述目标数据库。进一步地，在所述实时或定时获取目标数据复制作业对应的作业优先级、作业任务量、源数据库和目标数据库之前，还包括：接收目标数据复制指令，其中，该目标数据复制指令中包含有用户配置信息；基于所述用户配置信息生成包含有唯一标识的目标数据复制作业；将所述目标数据复制作业加入预设的作业运行表中；根据所述用户配置信息中的指令执行方式，实时或定时自所述作业运行表中提取所述目标数据复制作业。进一步地，在所述实时或定时自所述作业运行表中提取所述目标数据复制作业之后，还包括：基于所述目标数据复制作业的唯一标识，实时监测所述目标数据复制作业的执行情况，其中，所述执行情况包括目标数据复制作业的开始时间、结束时间、运行时长、运行状态以及对中转接点的占用情况；若接收到针对所述目标数据复制作业的中断指令，则根据当前的所述目标数据复制作业的执行情况，控制该目标数据复制作业中止执行。进一步地，还包括：周期性接收各个所述中转节点分别发送的心跳包信息，其中，所述心跳包信息包括对应的中转节点的自身健康状态、网络状态、磁盘占用率和CPU利用率；基于各个所述心跳包信息判断各个所述中转节点是否均处于可用状态，若存在处于不可用状态的中转节点，则将处于不可用状态的中转节点从预设的节点可用性列表中删除。进一步地，若当前获取的目标数据复制作业的数量为多个，则在执行所述实时或定时获取目标数据复制作业对应的作业优先级、作业任务量、源数据库和目标数据库时，还包括：获取各个所述目标数据复制作业之间的依赖关系及触发条件；确定各个所述目标数据复制作业的并发数量，以基于该并发数量控制对应的目标数据复制作业并发执行。进一步地，所述基于预设的导出节点自所述第一中转节点中获取所述源数据库中的与所述目标数据复制作业对应的目标数据，包括：向所述导出节点发送针对所述目标数据复制作业的导出作业请求，以使所述导出节点在对该目标数据复制作业进行预查询及预处理后，应用所述第一中转节点提取所述源数据库中的与所述目标数据复制作业对应的目标数据；接收所述导出节点发送的所述目标数据。进一步地，所述应用预设的导入接点自所述第二中转节点将所述目标数据存储至所述目标数据库，包括：向所述导入节点发送针对所述目标数据复制作业的导入作业请求，以使所述导入节点在对该目标数据复制作业进行预查询及预处理后，应用所述第二中转节点将所述目标数据存储至所述目标数据库，并生成对应的数据存储结果；接收所述导入节点发送的所述数据存储结果。进一步地，还包括：应用预设的清理节点周期性删除各个所述数据库中在数据复制过程中出现的中间表、中转表和临时表，并周期性删除各个所述中转节点上的数据文件。第二方面，本申请提供一种控制节点，包括：作业执行信息获取模块，用于实时或定时获取目标数据复制作业对应的作业优先级、作业任务量、源数据库和目标数据库，其中，所述源数据库和目标数据库属于同源或者异构的数据库集群；中转节点选取模块，用于根据所述目标数据复制作业的作业优先级及作业任务量，在分布式设置的多个当前处于可用状态的中转节点中选取至少一个作为用于提取所述源数据库中数据的第一中转节点，并在当前处于可用状态的中转节点中选取至少一个作为用于将数据存储至所述目标数据库的第二中转接点，其中，各个所述中转节点分别设置在各个数据库中；数据导出模块，用于基于预设的导出节点自所述第一中转节点中获取所述源数据库中的与所述目标数据复制作业对应的目标数据；数据导入模块，用于应用预设的导入接点自所述第二中转节点将所述目标数据存储至所述目标数据库。进一步地，还包括：作业生成模块，该作业生成模块用于执行下述内容：接收目标数据复制指令，其中，该目标数据复制指令中包含有用户配置信息；基于所述用户配置信息生成包含有唯一标识的目标数据复制作业；将所述目标数据复制作业加入预设的作业运行表中；根据所述用户配置信息中的指令执行方式，实时或定时自所述作业运行表中提取所述目标数据复制作业。进一步地，还包括：作业状态管理模块，该作业状态管理模块用于执行下述内容：基于所述目标数据复制作业的唯一标识，实时监测所述目标数据复制作业的执行情况，其中，所述执行情况包括目标数据复制作业的开始时间本文档来自技高网...

【技术保护点】
1.一种数据复制方法，其特征在于，包括：/n实时或定时获取目标数据复制作业对应的作业优先级、作业任务量、源数据库和目标数据库，其中，所述源数据库和目标数据库属于同源或者异构的数据库集群；/n根据所述目标数据复制作业的作业优先级及作业任务量，在分布式设置的多个当前处于可用状态的中转节点中选取至少一个作为用于提取所述源数据库中数据的第一中转节点，并在当前处于可用状态的中转节点中选取至少一个作为用于将数据存储至所述目标数据库的第二中转接点，其中，各个所述中转节点分别设置在各个数据库中；/n基于预设的导出节点自所述第一中转节点中获取所述源数据库中的与所述目标数据复制作业对应的目标数据；/n应用预设的导入接点自所述第二中转节点将所述目标数据存储至所述目标数据库。/n

【技术特征摘要】
1.一种数据复制方法，其特征在于，包括：
实时或定时获取目标数据复制作业对应的作业优先级、作业任务量、源数据库和目标数据库，其中，所述源数据库和目标数据库属于同源或者异构的数据库集群；
根据所述目标数据复制作业的作业优先级及作业任务量，在分布式设置的多个当前处于可用状态的中转节点中选取至少一个作为用于提取所述源数据库中数据的第一中转节点，并在当前处于可用状态的中转节点中选取至少一个作为用于将数据存储至所述目标数据库的第二中转接点，其中，各个所述中转节点分别设置在各个数据库中；
基于预设的导出节点自所述第一中转节点中获取所述源数据库中的与所述目标数据复制作业对应的目标数据；
应用预设的导入接点自所述第二中转节点将所述目标数据存储至所述目标数据库。


2.根据权利要求1所述的数据复制方法，其特征在于，在所述实时或定时获取目标数据复制作业对应的作业优先级、作业任务量、源数据库和目标数据库之前，还包括：
接收目标数据复制指令，其中，该目标数据复制指令中包含有用户配置信息；
基于所述用户配置信息生成包含有唯一标识的目标数据复制作业；
将所述目标数据复制作业加入预设的作业运行表中；
根据所述用户配置信息中的指令执行方式，实时或定时自所述作业运行表中提取所述目标数据复制作业。


3.根据权利要求2所述的数据复制方法，其特征在于，在所述实时或定时自所述作业运行表中提取所述目标数据复制作业之后，还包括：
基于所述目标数据复制作业的唯一标识，实时监测所述目标数据复制作业的执行情况，其中，所述执行情况包括目标数据复制作业的开始时间、结束时间、运行时长、运行状态以及对中转接点的占用情况；
若接收到针对所述目标数据复制作业的中断指令，则根据当前的所述目标数据复制作业的执行情况，控制该目标数据复制作业中止执行。


4.根据权利要求1所述的数据复制方法，其特征在于，还包括：
周期性接收各个所述中转节点分别发送的心跳包信息，其中，所述心跳包信息包括对应的中转节点的自身健康状态、网络状态、磁盘占用率和CPU利用率；
基于各个所述心跳包信息判断各个所述中转节点是否均处于可用状态，若存在处于不可用状态的中转节点，则将处于不可用状态的中转节点从预设的节点可用性列表中删除。


5.根据权利要求1所述的数据复制方法，其特征在于，若当前获取的目标数据复制作业的数量为多个，则在执行所述实时或定时获取目标数据复制作业对应的作业优先级、作业任务量、源数据库和目标数据库时，还包括：
获取各个所述目标数据复制作业之间的依赖关系及触发条件；
确定各个所述目标数据复制作业的并发数量，以基于该并发数量控制对应的目标数据复制作业并发执行。


6.根据权利要求1所述的数据复制方法，其特征在于，所述基于预设的导出节点自所述第一中转节点中获取所述源数据库中的与所述目标数据复制作业对应的目标数据，包括：
向所述导出节点发送针对所述目标数据复制作业的导出作业请求，以使所述导出节点在对该目标数据复制作业进行预查询及预处理后，应用所述第一中转节点提取所述源数据库中的与所述目标数据复制作业对应的目标数据；
接收所述导出节点发送的所述目标数据。


7.根据权利要求1所述的数据复制方法，其特征在于，所述应用预设的导入接点自所述第二中转节点将所述目标数据存储至所述目标数据库，包括：
向所述导入节点发送针对所述目标数据复制作业的导入作业请求，以使所述导入节点在对该目标数据复制作业进行预查询及预处理后，应用所述第二中转节点将所述目标数据存储至所述目标数据库，并生成对应的数据存储结果；
接收所述导入节点发送的所述数据存储结果。


8.根据权利要求1所述的数据复制方法，其特征在于，还包括：
应用预设的清理节点周期性删除各个所述数据库中在数据复制过程中出现的中间表、中转表和临时表，并周期性删除各个所述中转节点上的数据文件。


9.一种控制节点，其特征在于，包括：
作业执行信息获取模块，用于实时或定时获取目标数据复制作业对应的作业优先级、作业任务量、源数据库和目标数据库，...

【专利技术属性】
技术研发人员：熊辉，潘晨隐，曾琳奕，潘添，
申请(专利权)人：中国工商银行股份有限公司，
类型：发明
国别省市：北京;11