【技术实现步骤摘要】
本申请涉及数据处理，尤其涉及一种数据迁移方法、装置、终端设备及计算机可读存储介质。
技术介绍
1、当前，在技术人员需要对数据库进行维护或整备以解决数据异常问题时，需要先将待维护数据库内的数据迁移至其他数据库之后，才能对待维护数据库进行维护或整备。
2、在相关技术中，技术人员只能选择通过etl(extract-transform-load，数据仓库技术)工具执行抽取、转换及加载操作，从而将数据从待维护数据库迁移至目标数据库。
3、然而，不同数据库之间的数据结构差异较大，且etl工具只能在具有相同数据结构的数据库之间完成数据迁移操作，因此，技术人员难以通过etl工具实现将数据在不同数据结构的数据库之间进行迁移。
技术实现思路
1、本申请的主要目的在于提供一种数据迁移方法、装置、终端设备及计算机可读存储介质，旨在令终端设备能够将数据在不同数据结构的数据库之间进行迁移。
2、为实现上述目的，本申请提供一种数据迁移方法，所述数据迁移方法包括步骤：
3、确定源数据库和目标数据库之间的数据库连接信息，并基于所述数据库连接信息创建关键字映射信息；
4、基于所述数据库连接信息创建初始数据迁移任务流批次，并对所述初始数据迁移任务流批次进行处理得到目标数据迁移任务流批次；
5、通过所述目标数据迁移任务流批次和所述关键字映射信息得到目标迁移数据，并将所述目标迁移数据加载至所述目标数据库。
6、进一步地，所述确定源数据库和目
7、接收数据源配置信息；
8、基于所述数据源配置信息确定源数据库和目标数据库之间的数据库连接信息。
9、进一步地，所述基于所述数据库连接信息创建关键字映射信息的步骤，包括：
10、基于所述数据库连接信息确定所述源数据库对应的第一数据类型和所述目标数据库对应的第二数据类型；
11、根据所述第一数据类型和所述第二数据类型确定所述源数据库的待迁移数据在所述目标数据库内对应的目标关键字；
12、基于所述目标关键字创建关键字映射信息。
13、进一步地，所述对所述初始数据迁移任务流批次进行处理得到目标数据迁移任务流批次的步骤，包括：
14、确定所述初始数据迁移任务流批次内的多个数据迁移任务，并根据所述多个数据迁移任务生成目标任务流程；
15、根据所述目标任务流程对所述多个数据迁移任务进行编排得到目标数据迁移任务流批次。
16、进一步地，所述通过所述目标数据迁移任务流批次和所述关键字映射信息得到目标迁移数据的步骤，包括：
17、通过所述目标数据迁移任务流批次和所述关键字映射信息对所述源数据库内的待迁移数据的数据类型进行修改得到标准文件数据，其中，所述标准文件数据的数据类型为第三数据类型；
18、基于所述关键字映射信息将所述标准文件数据的数据类型从所述第三数据类型修改为第二数据类型以得到目标迁移数据。
19、进一步地，在所述基于所述数据库连接信息创建初始数据迁移任务流批次的步骤之后，所述方法还包括：
20、判断所述初始数据迁移任务流批次内是否包含大体积任务；
21、若判断到所述初始数据迁移任务流批次内包含所述大体积任务，则获取预设的切分规则，并按照所述切分规则对所述大体积任务进行拆分得到多个小体积任务；
22、将多个所述小体积任务添加至所述初始数据迁移任务流批次得到目标数据迁移任务流批次。
23、进一步地，所述判断所述初始数据迁移任务流批次内是否包含大体积任务的步骤，包括：
24、对所述初始数据迁移任务流批次进行检测，以得到所述初始数据迁移任务流批次内的多个数据迁移任务各自对应的迁移数据表；
25、确定各所述迁移数据表各自对应的迁移数据量，并获取预设的数据量阈值；
26、将各所述迁移数据量分别与所述数据量阈值进行比对得到多个比对结果；
27、在多个所述比对结果中包含所述迁移数据量大于所述数据量阈值的目标比对结果时，确定所述初始数据迁移任务流批次内包含大体积任务。
28、此外，为实现上述目的，本申请还提供一种数据迁移装置，所述装置包括：
29、配置管理模块，用于确定源数据库和目标数据库之间的数据库连接信息，并基于所述数据库连接信息创建关键字映射信息；
30、任务创建模块，用于基于所述数据库连接信息创建初始数据迁移任务流批次，并对所述初始数据迁移任务流批次进行处理得到目标数据迁移任务流批次；
31、任务执行模块，用于通过所述目标数据迁移任务流批次和所述关键字映射信息得到目标迁移数据，并将所述目标迁移数据加载至所述目标数据库。
32、此外，为实现上述目的，本申请还提供一种终端设备，所述终端设备包括：存储器、处理器，所述存储器上存储有可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如上述的数据迁移方法的步骤。
33、此外，为实现上述目的，本申请还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上述的数据迁移方法的步骤。
34、本申请实施例提供的数据迁移方法、装置、终端设备及计算机可读存储介质，通过确定源数据库和目标数据库之间的数据库连接信息，并基于所述数据库连接信息创建关键字映射信息；基于所述数据库连接信息创建初始数据迁移任务流批次，并对所述初始数据迁移任务流批次进行处理得到目标数据迁移任务流批次；通过所述目标数据迁移任务流批次和所述关键字映射信息得到目标迁移数据，并将所述目标迁移数据加载至所述目标数据库。
35、在本实施例中，当用户需要在不同数据结构的数据库之间进行数据迁移时，终端设备首先确定需要迁移数据的源数据库和目标数据库之间的数据库连接信息，从而基于该数据库连接信息创建源数据库和目标数据库之间的关键字映射信息，之后，终端设备基于该数据库连接信息创建初始数据迁移任务流批次，并对该初始数据迁移任务流批次进行编排从而得到目标数据迁移任务流批次，最后，终端设备执行该目标数据迁移任务流批次，从而通过该目标数据迁移任务流批次和关键字映射信息得到与目标数据库的数据结构对应的目标迁移数据，并将该目标迁移数据加载至目标数据库以完成数据迁移操作。
36、如此，本申请通过确定不同数据结构的数据库之间的数据库连接信息，并基于该数据库连接信息创建数据库内各待迁移数据对应的关键字映射信息，进而基于关键字映射信息将待迁移数据转换至标准数据文件，并基于关键字映射信息对标准数据文件修改至与目标数据库匹配的目标迁移数据，使得不同数据结构的数据库之间能够进行连接，从而解决了相关技术中使用etl工具无法在不同数据结构的数据库之间进行数据迁移的技术问题，达到了令终端设备能够将数据在不同数据结构的数据库之间进行迁移的技本文档来自技高网...
【技术保护点】
1.一种数据迁移方法，其特征在于，所述数据迁移方法包括步骤：
2.如权利要求1所述的数据迁移方法，其特征在于，所述确定源数据库和目标数据库之间的数据库连接信息的步骤，包括：
3.如权利要求1所述的数据迁移方法，其特征在于，所述基于所述数据库连接信息创建关键字映射信息的步骤，包括：
4.如权利要求1所述的数据迁移方法，其特征在于，所述对所述初始数据迁移任务流批次进行处理得到目标数据迁移任务流批次的步骤，包括：
5.如权利要求1所述的数据迁移方法，其特征在于，所述通过所述目标数据迁移任务流批次和所述关键字映射信息得到目标迁移数据的步骤，包括：
6.如权利要求1所述的数据迁移方法，其特征在于，在所述基于所述数据库连接信息创建初始数据迁移任务流批次的步骤之后，所述方法还包括：
7.如权利要求6所述的数据迁移方法，其特征在于，所述判断所述初始数据迁移任务流批次内是否包含大体积任务的步骤，包括：
8.一种数据迁移装置，其特征在于，所述装置包括：
9.一种终端设备，其特征在于，所述终端设备包括：存储
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述的数据迁移方法的步骤。
...【技术特征摘要】
1.一种数据迁移方法，其特征在于，所述数据迁移方法包括步骤：
2.如权利要求1所述的数据迁移方法，其特征在于，所述确定源数据库和目标数据库之间的数据库连接信息的步骤，包括：
3.如权利要求1所述的数据迁移方法，其特征在于，所述基于所述数据库连接信息创建关键字映射信息的步骤，包括：
4.如权利要求1所述的数据迁移方法，其特征在于，所述对所述初始数据迁移任务流批次进行处理得到目标数据迁移任务流批次的步骤，包括：
5.如权利要求1所述的数据迁移方法，其特征在于，所述通过所述目标数据迁移任务流批次和所述关键字映射信息得到目标迁移数据的步骤，包括：
6.如权利要求1所述的数据迁移方法，其特征在于，在所述基...
【专利技术属性】
技术研发人员：欧明瞭，高锦锋，孙伟，林少鑫，刘建彪，庞潮飘，蔡岳衡，赵鑫懿，
申请(专利权)人：招商银行股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。