数据迁移方法、装置、计算机设备和存储介质制造方法及图纸

技术编号:33837904 阅读:14 留言:0更新日期:2022-06-16 11:57
本申请涉及一种数据迁移方法、装置、计算机设备、存储介质和计算机程序产品,能够应用于各种系统,如企业管理系统、ERP系统、生产制造管理系统、供应链系统、人事系统、财务系统及税务系统。上述方法包括:获取由目标系统发起的迁移请求,根据迁移请求确定与目标系统对应的待迁移系统中的待迁移数据;调用迁移微服务,并通过迁移微服务对待迁移数据进行数据检测;在数据检测通过的情况下,通过调用迁移微服务从多个线程池中,确定与目标系统对应的目标线程池,目标线程池中配置有多个线程;通过调用迁移微服务运行目标线程池中的多个线程,从待迁移系统中并行提取待迁移数据,并将待迁移数据迁移至目标系统。采用本方法能够提高数据迁移的效率。据迁移的效率。据迁移的效率。

【技术实现步骤摘要】
数据迁移方法、装置、计算机设备和存储介质


[0001]本申请涉及数据处理
,特别是涉及一种数据迁移方法、装置、计算机设备、存储介质和计算机程序产品。

技术介绍

[0002]随着企业系统升级或者数据库无法满足业务需求时,有时需要将庞大的数据从待迁移系统迁移至另一个系统中,也就涉及到对数据进行迁移的问题。
[0003]现有的数据迁移方式主要是由企业人员以电子表格的方式手动导出待迁移系统的数据,并按照新系统要求的形式整理数据,再手动导入到新系统中。然而面对具有庞大数据量的数据,手动导出/导入的方式效率十分低下。

技术实现思路

[0004]基于此,有必要针对上述技术问题,提供一种能够提高数据的迁移效率的数据迁移方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。
[0005]第一方面,本申请提供了一种数据迁移方法。所述方法包括:
[0006]获取由目标系统发起的迁移请求,根据所述迁移请求确定与所述目标系统对应的待迁移系统中待迁移数据;
[0007]调用迁移微服务,并通过所述迁移微服务对所述待迁移数据进行数据检测;
[0008]在数据检测通过的情况下,通过调用迁移微服务从多个线程池中,确定与所述目标系统对应的目标线程池,所述目标线程池中配置有多个线程;
[0009]通过调用所述迁移微服务运行所述目标线程池中的多个线程,从所述待迁移系统中并行提取待迁移数据,并将所述待迁移数据迁移至所述目标系统。
[0010]在一些实施例中,所述获取由目标系统发起的迁移请求之后,所述方法还包括:
[0011]提取所述迁移请求中携带的与对应的待迁移系统所匹配的凭证信息;
[0012]校验所述凭证信息的合法性,在合法性通过的情况下,获取包括所述待迁移系统中的多套待迁移数据的待迁移列表,并返回至所述目标系统,以供所述目标系统在所述待迁移列表中确定待迁移数据。
[0013]在一些实施例中,所述通过所述迁移微服务对所述待迁移数据进行数据检测之后,所述方法还包括:
[0014]在检测到所述待迁移数据中存在异常数据的情况下,通过所述迁移微服务调用与所述目标系统连接的第一系统接口,将包含所述异常数据的异常信息反馈至所述目标系统。
[0015]在一些实施例中,所述根据所述迁移请求确定与所述目标系统对应的待迁移系统中待迁移数据之后,所述方法还包括:
[0016]将所述待迁移数据划分为不同的数据类别,得到各个数据类别的子待迁移数据;其中,不同的数据类别对应有各自的迁移顺序;
[0017]按照迁移顺序将子待迁移数据进行排列并得到迁移队列,以供所述迁移微服务根据所述迁移队列中各子待迁移数据对应的迁移顺序进行迁移。
[0018]在一些实施例中,所述通过调用所述迁移微服务运行所述目标线程池中的多个线程,从所述待迁移系统中并行提取待迁移数据,并将所述待迁移数据迁移至所述目标系统,包括:
[0019]在所述迁移队列中确定当前待迁移的子待迁移数据;
[0020]通过所述迁移微服务并行运行所述目标线程池中的多个线程,提取所述当前待迁移的子待迁移数据并缓存至所述迁移微服务的进程中;
[0021]通过所述迁移微服务调用与所述目标系统连接的第二系统接口,将所缓存的子待迁移数据迁移至所述目标系统;
[0022]将所述迁移队列中下一个子待迁移数据作为当前待迁移的子待迁移数据,并返回至通过所述迁移微服务并行运行所述目标线程池中的多个线程的步骤继续执行,直至所述迁移队列中全部子待迁移数据均完成迁移。
[0023]在一些实施例中,通过调用迁移微服务从多个线程池中确定与所述目标系统对应的目标线程池的方式包括以下至少一种:
[0024]通过调用迁移微服务,由所述迁移微服务依次查询各个线程池的使用状态,并将查询得到的第一个当前处于空闲状态的线程池确定为与所述目标系统对应的目标线程池;
[0025]通过调用迁移微服务,由所述迁移微服务在当前处于空闲状态的全部线程池中,随机选定一个线程池确定为与所述目标系统对应的目标线程池;
[0026]通过调用迁移微服务,由所述迁移微服务查询各个线程池中各个线程的使用状态,根据所述待迁移数据所需占用的线程数量确定与所述目标系统对应的目标线程池。
[0027]第二方面,本申请还提供了一种数据的迁移装置。所述装置包括:
[0028]获取模块,用于获取由目标系统发起的迁移请求,根据所述迁移请求确定与所述目标系统对应的待迁移系统中待迁移数据;
[0029]检测模块,用于调用迁移微服务,并通过所述迁移微服务对所述待迁移数据进行数据检测;
[0030]分配模块,用于在数据检测通过的情况下,通过调用迁移微服务从多个线程池中,确定与所述目标系统对应的目标线程池,所述目标线程池中配置有多个线程;
[0031]迁移模块,用于通过调用所述迁移微服务运行所述目标线程池中的多个线程,从所述待迁移系统中并行提取待迁移数据,并将所述待迁移数据迁移至所述目标系统。
[0032]第三方面,本申请还提供了一种计算机设备。所述计算机设备包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现以下步骤:
[0033]获取由目标系统发起的迁移请求,根据所述迁移请求确定与所述目标系统对应的待迁移系统中待迁移数据;
[0034]调用迁移微服务,并通过所述迁移微服务对所述待迁移数据进行数据检测;
[0035]在数据检测通过的情况下,通过调用迁移微服务从多个线程池中,确定与所述目标系统对应的目标线程池,所述目标线程池中配置有多个线程;
[0036]通过调用所述迁移微服务运行所述目标线程池中的多个线程,从所述待迁移系统中并行提取待迁移数据,并将所述待迁移数据迁移至所述目标系统。
[0037]第四方面,本申请还提供了一种计算机可读存储介质。所述计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现以下步骤:
[0038]获取由目标系统发起的迁移请求,根据所述迁移请求确定与所述目标系统对应的待迁移系统中待迁移待迁移数据;
[0039]调用迁移微服务,并通过所述迁移微服务对所述待迁移数据进行数据检测;
[0040]在数据检测通过的情况下,通过调用迁移微服务从多个线程池中,确定与所述目标系统对应的目标线程池,所述目标线程池中配置有多个线程;
[0041]通过调用所述迁移微服务运行所述目标线程池中的多个线程,从所述待迁移系统中并行提取待迁移数据,并将所述待迁移数据迁移至所述目标系统。
[0042]第五方面,本申请还提供了一种计算机程序产品。所述计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现以下步骤:
[0043]获取由目标系统发起的迁移请求,根据所述迁移请求确定与所述目标系统对应的待迁移系统中待迁移数据;
[0044]调用迁移微服务,并通过所述迁移微服务本文档来自技高网
...

【技术保护点】

【技术特征摘要】
1.一种数据迁移方法,其特征在于,所述方法包括:获取由目标系统发起的迁移请求,根据所述迁移请求确定与所述目标系统对应的待迁移系统中的待迁移数据;调用迁移微服务,并通过所述迁移微服务对所述待迁移数据进行数据检测;在数据检测通过的情况下,通过调用迁移微服务从多个线程池中,确定与所述目标系统对应的目标线程池,所述目标线程池中配置有多个线程;通过调用所述迁移微服务运行所述目标线程池中的多个线程,从所述待迁移系统中并行提取待迁移数据,并将所述待迁移数据迁移至所述目标系统。2.根据权利要求1所述的方法,其特征在于,所述获取由目标系统发起的迁移请求之后,所述方法还包括:提取所述迁移请求中携带的与对应的待迁移系统所匹配的凭证信息;校验所述凭证信息的合法性,在合法性通过的情况下,获取包括所述待迁移系统中的多套候选待迁移数据的待迁移列表,并返回至所述目标系统,以供所述目标系统在所述待迁移列表中确定待迁移数据。3.根据权利要求1所述的方法,其特征在于,所述通过所述迁移微服务对所述待迁移数据进行数据检测之后,所述方法还包括:在检测到所述待迁移数据中存在异常数据的情况下,通过所述迁移微服务调用与所述目标系统连接的第一系统接口,将包含所述异常数据的异常信息反馈至所述目标系统。4.根据权利要求1所述的方法,其特征在于,所述根据所述迁移请求确定与所述目标系统对应的待迁移系统中待迁移数据之后,所述方法还包括:将所述待迁移数据划分为不同的数据类别,得到各个数据类别的子待迁移数据;其中,不同的数据类别对应有各自的迁移顺序;按照迁移顺序将子待迁移数据进行排列并得到迁移队列,以供所述迁移微服务根据所述迁移队列中各子待迁移数据对应的迁移顺序进行迁移。5.根据权利要求4所述的方法,其特征在于,所述通过调用所述迁移微服务运行所述目标线程池中的多个线程,从所述待迁移系统中并行提取待迁移数据,并将所述待迁移数据迁移至所述目标系统,包括:在所述迁移队列中确定当前待迁移的子待迁移数据;通过所述迁移微服务并行运行所述目标线程池中的多个线程,提取所述当前待迁移的子待迁移数据并缓存至所述迁移微服务的进程中;通过所述迁移微服务调用与所述目标系统连接的第二系统接口,将所缓存的子待迁移数据迁移至所述目标系统;将所述迁移队列中下一个子待迁移数据作为当前待迁移的子待迁移数据,并返回至通过所述迁移微服务并行运...

【专利技术属性】
技术研发人员:侯东沈剑雷王佳浩李微
申请(专利权)人:金蝶蝶金云计算有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1