异地多源异构数据迁移方法、装置及计算机设备制造方法及图纸

本申请涉及大数据技术，提供了异地多源异构数据迁移方法、装置及计算机设备，是先获取待迁移数据的数据类型；其中，数据类型中包括的微小业务数据、中型业务数据及大型业务数据中均包括结构化数据及非结构化数据；若确定待迁移数据的数据类型为微小业务数据，获取第一数据迁移策略以完成数据迁移至目标数据库；若确定待迁移数据的数据类型为中型业务数据，获取第二数据迁移策略以完成数据迁移至目标数据库；若确定待迁移数据的数据类型为大型业务数据，获取第三数据迁移策略，以完成数据迁移至目标数据库。本申请实现了将服务器中多种类型数据可快速准确迁移至总服务器，避免在多个服务器中的数据形成数据孤岛。服务器中的数据形成数据孤岛。服务器中的数据形成数据孤岛。

【技术实现步骤摘要】
异地多源异构数据迁移方法、装置及计算机设备


[0001]本申请涉及大数据的数据迁移
，尤其涉及一种异地多源异构数据迁移方法、装置及计算机设备。

技术介绍

[0002]目前，各大型企业或包括众多子公司的集团式公司等均存在数孤岛的问题。即随着企业经营规模与经营范围不断扩大，各个业务板块生产与经营过程中产生的数据日趋繁多(例如这些数据往往包含了市场反馈与生产规模动态变化、操作者经验，产品质量，成品率与原材料关系，地区因素下产品销量变化、区域因素与关联产品销量之间的关系等丰富信息)，但业生产经营过程中各业务线在经营过程中数据往往以多种形态留存在各地不同的业务系统单元与存储介质中，长年累月渐渐形成了数据孤岛。
[0003]常见的数据采集方案仅针对某一类数据，如文件数据或数据系统数据。然而企业在生产经营过程中产生的数据往往所多种形态的，非结构化的数据如原材料采购合同、产品订单、发票、图片、文档、音频、视频，结构化数据如各地业务系统数据、生产工艺数据、产品制造指标数据等。现有的方案由于采集汇聚数据类型单一，难以多种类型数据采集汇聚以集中至总服务器。

技术实现思路

[0004]本申请实施例提供了一种异地多源异构数据迁移方法、装置及计算机设备，旨在解决现有技术中对以多种形态留存在各地不同的业务系统单元与存储介质中的多种类型数据难以采集汇聚集中至总服务器以解决数据孤岛的问题。
[0005]第一方面，本申请实施例提供了一种异地多源异构数据迁移方法，其包括：
[0006]获取待迁移数据的数据类型；其中，所述数据类型为微小业务数据、中型业务数据或大型业务数据中的其中一种，且所述微小业务数据、中型业务数据及大型业务数据中均包括结构化数据及非结构化数据；
[0007]若确定所述待迁移数据的数据类型为微小业务数据，获取预设的第一数据迁移策略，以将所述待迁移数据由源数据库迁移至目标数据库；
[0008]若确定所述待迁移数据的数据类型为中型业务数据，获取预设的第二数据迁移策略，以将所述待迁移数据由源数据库迁移至目标数据库；
[0009]若确定所述待迁移数据的数据类型为大型业务数据，获取预设的第三数据迁移策略，以将所述待迁移数据由源数据库迁移至目标数据库。
[0010]第二方面，本申请实施例提供了一种异地多源异构数据迁移装置，其包括：
[0011]数据类型获取单元，用于获取待迁移数据的数据类型；其中，所述数据类型为微小业务数据、中型业务数据或大型业务数据中的其中一种，且所述微小业务数据、中型业务数据及大型业务数据中均包括结构化数据及非结构化数据；
[0012]第一迁移单元，用于若确定所述待迁移数据的数据类型为微小业务数据，获取预
设的第一数据迁移策略，以将所述待迁移数据由源数据库迁移至目标数据库；
[0013]第二迁移单元，用于若确定所述待迁移数据的数据类型为中型业务数据，获取预设的第二数据迁移策略，以将所述待迁移数据由源数据库迁移至目标数据库；
[0014]第三迁移单元，用于若确定所述待迁移数据的数据类型为大型业务数据，获取预设的第三数据迁移策略，以将所述待迁移数据由源数据库迁移至目标数据库。
[0015]第三方面，本申请实施例又提供了一种计算机设备，其包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述第一方面所述的异地多源异构数据迁移方法。
[0016]第四方面，本申请实施例还提供了一种计算机可读存储介质，其中所述计算机可读存储介质存储有计算机程序，所述计算机程序当被处理器执行时使所述处理器执行上述第一方面所述的异地多源异构数据迁移方法。
[0017]本申请实施例提供了一种异地多源异构数据迁移方法、装置及计算机设备，是先获取待迁移数据的数据类型；其中，数据类型为微小业务数据、中型业务数据或大型业务数据中的其中一种，且微小业务数据、中型业务数据及大型业务数据中均包括结构化数据及非结构化数据；若确定待迁移数据的数据类型为微小业务数据，获取预设的第一数据迁移策略，以将待迁移数据由源数据库迁移至目标数据库；若确定待迁移数据的数据类型为中型业务数据，获取预设的第二数据迁移策略，以将待迁移数据由源数据库迁移至目标数据库；若确定待迁移数据的数据类型为大型业务数据，获取预设的第三数据迁移策略，以将待迁移数据由源数据库迁移至目标数据库。本申请实现了将服务器中多种类型数据可快速准确迁移至总服务器，避免在多个服务器中的数据形成数据孤岛。
附图说明
[0018]为了更清楚地说明本申请实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0019]图1为本申请实施例提供的异地多源异构数据迁移方法的应用场景示意图；
[0020]图2为本申请实施例提供的异地多源异构数据迁移方法的流程示意图；
[0021]图3为本申请实施例提供的异地多源异构数据迁移装置的示意性框图；
[0022]图4为本申请实施例提供的计算机设备的示意性框图。
具体实施方式
[0023]下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
[0024]应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
[0025]还应当理解，在此本申请说明书中所使用的术语仅仅是出于描述特定实施例的目
的而并不意在限制本申请。如在本申请说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
[0026]还应当进一步理解，在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
[0027]请参阅图1和图2，图1为本申请实施例提供的异地多源异构数据迁移方法的应用场景示意图；图2为本申请实施例提供的异地多源异构数据迁移方法的流程示意图，该异地多源异构数据迁移方法应用于服务器中，该方法通过安装于服务器中的应用软件进行执行。
[0028]如图2所示，该方法包括步骤S101～S104。
[0029]S101、获取待迁移数据的数据类型；其中，所述数据类型为微小业务数据、中型业务数据或大型业务数据中的其中一种，且所述微小业务数据、中型业务数据及大型业务数据中均包括结构化数据及非结构化数据。
[003本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种异地多源异构数据迁移方法，其特征在于，包括：获取待迁移数据的数据类型；其中，所述数据类型为微小业务数据、中型业务数据或大型业务数据中的其中一种，且所述微小业务数据、中型业务数据及大型业务数据中均包括结构化数据及非结构化数据；若确定所述待迁移数据的数据类型为微小业务数据，获取预设的第一数据迁移策略，以将所述待迁移数据由源数据库迁移至目标数据库；若确定所述待迁移数据的数据类型为中型业务数据，获取预设的第二数据迁移策略，以将所述待迁移数据由源数据库迁移至目标数据库；若确定所述待迁移数据的数据类型为大型业务数据，获取预设的第三数据迁移策略，以将所述待迁移数据由源数据库迁移至目标数据库。2.根据权利要求1所述的异地多源异构数据迁移方法，其特征在于，所述获取预设的第一数据迁移策略，以将所述待迁移数据由源数据库迁移至目标数据库，包括：获取所述待迁移数据中的非结构化数据并组成第一待迁移数据集，并获取所述待迁移数据中的结构化数据并组成第二待迁移数据集；将所述第一待迁移数据集基于所述第一数据迁移策略中的第一子策略依次进行源文本数据采集、文件结构化信息提取、文件结构化信息摆渡、元数据抽取、元数据摆渡及非结构化数据生产，以将所述第一待迁移数据集由源数据库迁移至目标数据库；将所述第二待迁移数据集基于所述第一数据迁移策略中的第二子策略依次进行源业务数据采集、业务数据清洗、业务数据摆渡、业务元数据抽取、业务元数据摆渡及结构化数据生产，以将所述第二待迁移数据集由源数据库迁移至目标数据库。3.根据权利要求2所述的异地多源异构数据迁移方法，其特征在于，所述获取所述待迁移数据中的非结构化数据并组成第一待迁移数据集，并获取所述待迁移数据中的结构化数据并组成第二待迁移数据集之前，还包括：获取当前系统时间，若确定所述当前系统时间满足预设的非高峰时间条件，则获取所述待迁移数据。4.根据权利要求1所述的异地多源异构数据迁移方法，其特征在于，所述获取预设的第二数据迁移策略，以将所述待迁移数据由源数据库迁移至目标数据库，包括：获取所述待迁移数据中的图片文件和票据文件并组成第三待迁移数据集；将所述第三待迁移数据集基于所述第二数据迁移策略中的第三子策略依次进行文件采集、文件结构化数据采集、元数据抽取、元数据摆渡及集群数据生产，以将所述第三待迁移数据集由源数据库迁移至目标数据库。5.根据权利要求4所述的异地多源异构数据迁移方法，其特征在于，所述获取预设的第二数据迁移策略，以将所述待迁移数据由源数据库迁移至目标数据库，还包括：获取所述待迁移数据中的业务流程数据并组成第四待迁移数据集；将所述第四待迁移数据集基于所述第二数据迁移策略中的第四子策略依次进行流程数据清洗、流程数据摆渡及集群数据生产，以将所述第四...

【专利技术属性】
技术研发人员：李佳亮，李辉栋，王乐，杜步元，
申请(专利权)人：华润数字科技有限公司，
类型：发明
国别省市：