【技术实现步骤摘要】
本申请涉及大数据，特别是涉及一种数据迁移方法、装置、计算机设备、存储介质和计算机程序产品。
技术介绍
1、随着大数据的发展，涌现出了越来越多的数据迁移方法，如etl(extract-transform-load，抽取-转换-加载)技术、datax技术、sqoop技术等，能够实现将数据从一个数据库中迁移到另一个数据库。
2、在传统技术中，以etl技术为例，etl可以实现将数据从来源端经过抽取、转换、加载至目的端。在实际应用过程中，用户通常需要配置好数据源、数据目标、以及映射规则。举例来说，当用户配置的数据源为oracle数据库中表a，数据目标为mysql数据库的表b时，配置的映射规则可以是表a和表b的列的映射关系及表a和表b各列的格式，再执行etl工具的迁移指令，按映射规则完成数据从表a到表b的数据迁移。
3、然而，目前的数据迁移方法，无法实现高效的自动迁移。
技术实现思路
1、基于此，有必要针对上述技术问题，提供一种高效的数据迁移方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。
2、第一方面，本申请提供了一种数据迁移方法，包括：
3、获取终端配置的待迁移数据信息，所述待迁移数据信息包括：数据源标识、目标库标识与待迁移数据类型；
4、根据所述待迁移数据信息，自动生成数据映射规则；
5、根据所述数据映射规则与所述待迁移数据信息，批量生成可执行的数据迁移指令；
6、根据所述数据迁移指令，生成数
7、将所述数据迁移作业序列导入分布式调度端，由所述分布式调度端基于所述数据迁移作业序列进行数据迁移。
8、在一些实施例中，所述根据所述待迁移数据信息，自动生成数据映射规则，包括：
9、确定所述数据源标识对应的数据源、以及所述目标库标识对应的目标库；
10、获取所述数据源中所述待迁移数据类型对应的第一字段信息、以及所述目标库中所述待迁移数据类型对应的第二字段信息；
11、基于所述第一字段信息与第二字段信息，执行映射规则自动生成指令，生成数据映射规则。
12、在一些实施例中，所述根据所述待迁移数据信息，自动生成数据映射规则，包括：
13、确定映射规则生成路径；
14、根据所述待迁移数据信息，在所述映射规则生成路径中自动生成数据映射规则。
15、在一些实施例中，所述根据所述数据映射规则与所述待迁移数据信息，批量生成可执行的数据迁移指令之前，还包括：
16、获取映射规则生成路径，并从所述映射规则生成路径中获取所述数据映射规则。
17、在一些实施例中，其特征在于：
18、一个所述待迁移数据类型对应一个所述数据迁移指令；
19、和/或
20、所述数据迁移指令包括：指令执行的位置、日志输出路径、运行时内存大小以及最高并发度。
21、在一些实施例中，所述根据所述数据迁移指令，生成数据迁移作业序列，包括：
22、获取配置的执行依赖关系；
23、根据所述执行依赖关系，对所述数据迁移指令生成数据迁移作业序列。
24、在一些实施例中，所述将所述数据迁移作业序列导入分布式调度端，由所述分布式调度端基于所述数据迁移作业序列进行数据迁移，包括：
25、将所述数据迁移作业序列导入分布式调度端，由所述分布式调度端基于所述数据迁移作业序列，生成作业执行指令，并向各执行端下发所述作业执行指令，由所述各执行端基于作业执行指令进行数据迁移。
26、在一些实施例中，在所述将所述数据迁移作业序列导入所述分布式调度端之后，还包括：
27、接收所述分布式调度端上传的数据迁移结果，并对所述数据迁移结果进行可视化处理，得到数据迁移可视化结果；
28、推送所述数据迁移可视化结果。
29、第二方面，本申请还提供了一种数据迁移装置，所述装置包括：
30、数据获取模块，用于获取终端配置的待迁移数据信息，所述待迁移数据信息包括：数据源标识、目标库标识与待迁移数据类型；
31、映射规则生成模块，用于根据所述待迁移数据信息，自动生成数据映射规则；
32、指令批量生成模块，用于根据所述数据映射规则与所述待迁移数据信息，批量生成可执行的数据迁移指令；
33、迁移作业生成模块，用于根据所述数据迁移指令，生成数据迁移作业序列；
34、数据迁移模块，用于将所述数据迁移作业序列导入分布式调度端，由所述分布式调度端基于所述数据迁移作业序列进行数据迁移。
35、在一些实施例中，所述映射规则生成模块还用于确定所述数据源标识对应的数据源、以及所述目标库标识对应的目标库；获取所述数据源中所述待迁移数据类型对应的第一字段信息、以及所述目标库中所述待迁移数据类型对应的第二字段信息；基于所述第一字段信息与第二字段信息，执行映射规则自动生成指令，生成数据映射规则。
36、在一些实施例中，所述映射规则生成模块还用于确定映射规则生成路径；根据所述待迁移数据信息，在所述映射规则生成路径中自动生成数据映射规则。
37、在一些实施例中，还包括映射规则获取模块，映射规则获取模块用于获取映射规则生成路径，并从所述映射规则生成路径中获取所述数据映射规则。
38、在一些实施例中，还包括数据迁移分析模块，数据迁移分析模块用于一个所述待迁移数据类型对应一个所述数据迁移指令；和/或所述数据迁移指令包括：指令执行的位置、日志输出路径、运行时内存大小以及最高并发度。
39、在一些实施例中，所述迁移作业生成模块还用于获取配置的执行依赖关系；根据所述执行依赖关系，对所述数据迁移指令生成数据迁移作业序列。
40、在一些实施例中，所述数据迁移模块还用于将所述数据迁移作业序列导入分布式调度端，由所述分布式调度端基于所述数据迁移作业序列，生成作业执行指令，并向各执行端下发所述作业执行指令，由所述各执行端基于作业执行指令进行数据迁移。
41、在一些实施例中，还包括结果推送模块，结果推送模块用于接收所述分布式调度端上传的数据迁移结果，并对所述数据迁移结果进行可视化处理，得到数据迁移可视化结果；推送所述数据迁移可视化结果。
42、第三方面，本申请还提供了一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
43、获取终端配置的待迁移数据信息，所述待迁移数据信息包括：数据源标识、目标库标识与待迁移数据类型；
44、根据所述待迁移数据信息，自动生成数据映射规则；
45、根据所述数据映射规则与所述待迁移数据信息，批量生成可执行的数据迁移指令；
46、根据所述数据迁移指令，生成数据迁移作业序列；
47、将所述数据迁移作业序列导本文档来自技高网...
【技术保护点】
1.一种数据迁移方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述根据所述待迁移数据信息，自动生成数据映射规则，包括：
3.根据权利要求1或2所述的方法，其特征在于，所述根据所述待迁移数据信息，自动生成数据映射规则，包括：
4.根据权利要求3所述的方法，其特征在于，所述根据所述数据映射规则与所述待迁移数据信息，批量生成可执行的数据迁移指令之前，还包括：
5.根据权利要求1所述的方法，其特征在于：
6.根据权利要求1所述的方法，其特征在于，所述根据所述数据迁移指令，生成数据迁移作业序列，包括：
7.根据权利要求1所述的方法，其特征在于，所述将所述数据迁移作业序列导入分布式调度端，由所述分布式调度端基于所述数据迁移作业序列进行数据迁移，包括：
8.根据权利要求1或7所述的方法，其特征在于，在所述将所述数据迁移作业序列导入所述分布式调度端之后，还包括：
9.一种数据迁移装置，其特征在于，所述装置包括：
10.根据权利要求9所述的装置，其特征在于，所述
11.根据权利要求9或10所述的装置，其特征在于，所述映射规则生成模块还用于确定映射规则生成路径；根据所述待迁移数据信息，在所述映射规则生成路径中自动生成数据映射规则。
12.根据权利要求11所述的装置，其特征在于，还包括映射规则获取模块，映射规则获取模块用于获取映射规则生成路径，并从所述映射规则生成路径中获取所述数据映射规则。
13.根据权利要求9所述的装置，其特征在于，还包括数据迁移分析模块，数据迁移分析模块用于一个所述待迁移数据类型对应一个所述数据迁移指令；和/或所述数据迁移指令包括：指令执行的位置、日志输出路径、运行时内存大小以及最高并发度。
14.根据权利要求9所述的装置，其特征在于，所述迁移作业生成模块还用于获取配置的执行依赖关系；根据所述执行依赖关系，对所述数据迁移指令生成数据迁移作业序列。
15.根据权利要求9所述的装置，其特征在于，所述数据迁移模块还用于将所述数据迁移作业序列导入分布式调度端，由所述分布式调度端基于所述数据迁移作业序列，生成作业执行指令，并向各执行端下发所述作业执行指令，由所述各执行端基于作业执行指令进行数据迁移。
16.根据权利要求9或15所述的装置，其特征在于，还包括结果推送模块，结果推送模块用于接收所述分布式调度端上传的数据迁移结果，并对所述数据迁移结果进行可视化处理，得到数据迁移可视化结果；推送所述数据迁移可视化结果。
17.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至8中任一项所述的方法的步骤。
18.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至8中任一项所述的方法的步骤。
19.一种计算机程序产品，包括计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1至8中任一项所述的方法的步骤。
...【技术特征摘要】
1.一种数据迁移方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述根据所述待迁移数据信息，自动生成数据映射规则，包括：
3.根据权利要求1或2所述的方法，其特征在于，所述根据所述待迁移数据信息，自动生成数据映射规则，包括：
4.根据权利要求3所述的方法，其特征在于，所述根据所述数据映射规则与所述待迁移数据信息，批量生成可执行的数据迁移指令之前，还包括：
5.根据权利要求1所述的方法，其特征在于：
6.根据权利要求1所述的方法，其特征在于，所述根据所述数据迁移指令，生成数据迁移作业序列，包括：
7.根据权利要求1所述的方法，其特征在于，所述将所述数据迁移作业序列导入分布式调度端，由所述分布式调度端基于所述数据迁移作业序列进行数据迁移，包括：
8.根据权利要求1或7所述的方法，其特征在于，在所述将所述数据迁移作业序列导入所述分布式调度端之后，还包括：
9.一种数据迁移装置，其特征在于，所述装置包括：
10.根据权利要求9所述的装置，其特征在于，所述映射规则生成模块还用于确定所述数据源标识对应的数据源、以及所述目标库标识对应的目标库；获取所述数据源中所述待迁移数据类型对应的第一字段信息、以及所述目标库中所述待迁移数据类型对应的第二字段信息；基于所述第一字段信息与第二字段信息，执行映射规则自动生成指令，生成数据映射规则。
11.根据权利要求9或10所述的装置，其特征在于，所述映射规则生成模块还用于确定映射规则生成路径；根据所述待迁移数据信息，在所述映射规则生成路径中自动生成数据映射规则。
12.根据权利要求11所述...
【专利技术属性】
技术研发人员：何雷，
申请(专利权)人：中国建设银行股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。