【技术实现步骤摘要】
本专利技术涉及大数据迁移，尤其涉及一种基于新通信的国产化大数据迁移方法及系统。
技术介绍
1、人工智能的发展已经进入了一个新的阶段，超大的模型使其日益能满足人们的日常需求。然而，它还需要逐渐渗透到各个领域而发挥作用。这些领域包括医疗、金融、交通、教育等。当人工智能进入到具体领域，目前的准确率情况则难以达到要求。人工智能和大数据的结合，可以进一步提高数据处理和分析的效率和准确性。人工智能可以通过机器学习和深度学习等技术，对大量数据进行自动化的处理和分析，从而快速地提取出有用的信息和知识。同时，大数据还可以为人工智能提供更加全面和准确的数据支持，帮助人工智能更好地理解和预测各种情况。
2、为了实现人工智能进入到各个领域且在局部领域中准确率达到要求，数据质量是难以绕过的关卡，将直接影响到人工智能系统的性能。由此，高质量的数据库的构建和迁移需求将会不断提升。目前大数据的迁移已经从传统的数据仓库向云端迁移。随着云计算的普及和发展，越来越多的企业开始将大数据迁移到云端，以实现更加高效、灵活和可靠的数据处理和分析。云端的大数据平台可以提供更加稳定、安全和可靠的数据存储和处理环境。同时，云端的大数据平台也能够提供更加高效和灵活的数据访问和分析工具。
3、同时，随着新一代通信技术的发展，各种应用、软件或工具在设计或升级时，其灵活性和扩展性获得极大的提升。借助模块化和可扩展的设计，这些应用、软件或工具可在通信过程中获得定制和扩展的服务，从而实现满足在大数据迁移的场景中满足不同用户的功能。
4、综上所述，目前的大数
技术实现思路
1、本专利技术的目的在于针对上述缺陷和不足，本专利技术的目的在于提供一种基于新通信的国产化大数据迁移方法及系统，借助新一代通信技术在灵活性和扩展性的优势，实现从源数据库智能识别到目标数据库汇集的迁移功能。
2、为了实现上述目的，本专利技术采用如下的技术方案：
3、在第一方面，本专利技术是一种基于新通信的国产化大数据迁移方法，包括：
4、根据用户的迁移项目，确定待迁出数据库、迁移数据范围和待迁入数据库；
5、分析待迁出数据库确定迁出库特征，以及分析待迁入数据库确定迁入库特征；
6、根据迁出库特征，确定待迁出数据库中满足迁移项目要求的第一迁移数据清单，将待迁出数据库中除第一迁移数据清单以外的数据集传输至核心网网元；
7、利用在核心网的知识图谱，从接收到的数据集中，筛选出满足迁移数据范围的第二迁移数据清单；
8、根据迁出库特征和迁入库特征，确定迁移策略；
9、根据迁移策略，将符合第一迁移数据清单和第二迁移数据清单的待迁出数据库的数据迁移至待迁入数据库。
10、上述方法可选的，所述知识图谱由若干数据库的数据集中数据实体、数据属性和数据关系的评价数据内容范围，以接收到的数据集中筛选出满足迁移数据范围的第二迁移数据清单。
11、上述方法可选的，根据迁移数据范围确定知识图谱中相应的筛选参数，根据所接收数据的特征，清洗出数据的关键部分，将所接收数据的关键部分输入到经过筛选参数的知识图谱，根据知识图谱的输出，根据知识图谱的输出确定是否列入第二迁移数据清单。
12、上述方法可选的，所述第二迁移数据清单配置为至少两个，根据迁移策略其中之一的第二迁移数据清单和第一迁移数据清单的待迁出数据库迁移至第一数据库，根据迁移策略其中另一的第二迁移数据清单和第一迁移数据清单的待迁出数据库迁移至第二数据库。
13、上述方法可选的，在迁移项目中，待迁出数据库配置为至少两个数据库，其中，所述的至少两个数据库的存储内容类型相同和内容用途相同；
14、将所述的至少两个数据库的数据汇集至核心网，将每个数据库转换至同一个数据库系统，以及进行去重处理；
15、由汇集数据确定第一迁移数据清单和第二迁移数据清单，并将符合第一迁移数据清单和第二迁移数据清单的汇集数据迁移至待迁入数据库。
16、上述方法可选的，在迁移项目中，待迁出数据库配置为一个数据库，在数据库平台本地确定满足迁移项目要求的第一迁移数据清单，并根据迁移策略将符合第一迁移数据清单的待迁出数据库的数据迁移至待迁入数据库。
17、上述方法可选的，所述的分析待迁出数据库确定迁出库特征包括：
18、获取待迁出数据库的文件系统类型特征、数据结构特征和数据类型特征，以确定迁出库特征；
19、待迁出数据库的数据结构特征和数据类型特征确定待迁出数据库中满足迁移项目要求的第一迁移数据清单，以使待迁出数据库中的必要数据迁移至待迁入数据库。
20、上述方法可选的，所述的分析待迁出数据库确定迁出库特征，以及分析待迁入数据库确定迁入库特征包括：
21、获取待迁入数据库的文件系统类型特征和数据属性特征，以确定迁入库特征；
22、获取待迁出数据库的文件系统类型特征和数据属性特征，以确定迁出库特征；
23、根据待迁入数据库和待迁出数据库的文件系统类型特征和数据属性特征确定迁移策略，以使数据行程迁移的映射。
24、在第二方面，本专利技术是一种基于新通信的国产化大数据迁移系统，包括：
25、设置模块，用于设置待迁出数据库、迁移数据范围和待迁入数据库；
26、分析模块，用于分析待迁出数据库确定迁出库特征，以及用于分析待迁入数据库确定迁入库特征；
27、初步筛选模块，用于根据迁出库特征，确定待迁出数据库中满足迁移项目要求的第一迁移数据清单，将待迁出数据库中除第一迁移数据清单以外的数据集传输至核心网网元；
28、核心网数据筛选模块，用于利用在核心网的知识图谱，从接收到的数据集中，筛选出满足迁移数据范围的第二迁移数据清单；
29、迁移决策模块，用于根据迁出库特征和迁入库特征，确定迁移策略
30、数据迁移模块，用于根据迁移策略，将符合第一迁移数据清单和第二迁移数据清单的待迁出数据库的数据迁移至待迁入数据库。
31、上述系统，可选的，所述核心网数据筛选模块包括：
32、范围设定单元，用于根据迁移数据范围确定知识图谱中相应的筛选参数；
33、数据清洗单元，用于将接收根据所接收数据的特征，清洗出数据的关键部分；
34、迁移决策单元，用于根据知识图谱的输出，根据知识图谱的输出确定是否列入第二迁移数据清单。
35、与现有技术相比，本专利技术有益效果如下：
36、本专利技术中，由用户确定待迁出数据库、迁移数据范围和待迁入数据库，系统将分析确定出迁出库特征和迁出库特征，由迁出库特征确定大模型数据库中必要的第一迁移数据清单，借助核心网网元的知识图谱对其余数据按照迁移数据范围进行筛选，确定满足细分领域的第二迁移数据清单，最后按照库和库之间的特征，根据迁移策略，将符本文档来自技高网...
【技术保护点】
1.一种基于新通信的国产化大数据迁移方法，其特征在于包括：
2.如权利要求1的基于新通信的国产化大数据迁移方法，其特征在于，所述知识图谱由若干数据库的数据集中数据实体、数据属性和数据关系的评价数据内容范围，以接收到的数据集中筛选出满足迁移数据范围的第二迁移数据清单。
3.如权利要求2的基于新通信的国产化大数据迁移方法，其特征在于，根据迁移数据范围确定知识图谱中相应的筛选参数，根据所接收数据的特征，清洗出数据的关键部分，将所接收数据的关键部分输入到经过筛选参数的知识图谱，根据知识图谱的输出，根据知识图谱的输出确定是否列入第二迁移数据清单。
4.如权利要求3的基于新通信的国产化大数据迁移方法，其特征在于，所述第二迁移数据清单配置为至少两个，根据迁移策略其中之一的第二迁移数据清单和第一迁移数据清单的待迁出数据库(10)迁移至第一数据库，根据迁移策略其中另一的第二迁移数据清单和第一迁移数据清单的待迁出数据库(10)迁移至第二数据库。
5.如权利要求1的基于新通信的国产化大数据迁移方法，其特征在于，在迁移项目中，待迁出数据库(10)配置为至少
6.如权利要求1的基于新通信的国产化大数据迁移方法，其特征在于，在迁移项目中，待迁出数据库(10)配置为一个数据库，在数据库平台本地确定满足迁移项目要求的第一迁移数据清单，并根据迁移策略将符合第一迁移数据清单的待迁出数据库(10)的数据迁移至待迁入数据库(30)。
7.如权利要求1的基于新通信的国产化大数据迁移方法，其特征在于，所述的分析待迁出数据库(10)确定迁出库特征包括：
8.如权利要求1的基于新通信的国产化大数据迁移方法，其特征在于，所述的分析待迁出数据库(10)确定迁出库特征，以及分析待迁入数据库(30)确定迁入库特征包括：
9.一种基于新通信的国产化大数据迁移系统，应用于权利要求1至8任一项所述的方法，其特征在于，该系统包括：
10.如权利要求9的基于新通信的国产化大数据迁移方法，其特征在于，所述核心网数据筛选模块(24)包括：
...【技术特征摘要】
1.一种基于新通信的国产化大数据迁移方法，其特征在于包括：
2.如权利要求1的基于新通信的国产化大数据迁移方法，其特征在于，所述知识图谱由若干数据库的数据集中数据实体、数据属性和数据关系的评价数据内容范围，以接收到的数据集中筛选出满足迁移数据范围的第二迁移数据清单。
3.如权利要求2的基于新通信的国产化大数据迁移方法，其特征在于，根据迁移数据范围确定知识图谱中相应的筛选参数，根据所接收数据的特征，清洗出数据的关键部分，将所接收数据的关键部分输入到经过筛选参数的知识图谱，根据知识图谱的输出，根据知识图谱的输出确定是否列入第二迁移数据清单。
4.如权利要求3的基于新通信的国产化大数据迁移方法，其特征在于，所述第二迁移数据清单配置为至少两个，根据迁移策略其中之一的第二迁移数据清单和第一迁移数据清单的待迁出数据库(10)迁移至第一数据库，根据迁移策略其中另一的第二迁移数据清单和第一迁移数据清单的待迁出数据库(10)迁移至第二数据库。
5.如权利要求1的基于新通信的国产化大数据迁移方法，其...
【专利技术属性】
技术研发人员：陈泽宇，李韩，胡磊明，林金怡，吴伟华，胡高生，余武，于善龙，
申请(专利权)人：联通沃音乐文化有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。