数据迁移方法技术

本申请公开了一种数据迁移方法

【技术实现步骤摘要】
数据迁移方法、装置、存储介质以及电子设备


[0001]本申请涉及大数据领域
、
金融科技领域及其他相关领域，具体而言，涉及一种数据迁移方法
、
装置
、
存储介质以及电子设备
。

技术介绍

[0002]随着金融机构中的业务数据逐渐增多，会出现将数据表从业务系统存储至数据湖中的场景，例如，将
Oracle
数据库的数据迁移到
Hadoop
数据仓库，从而达到对数据进行长期存储的效果
。
[0003]当前在进行数据迁移的时候，通常以批量文件传输的方式
。
但是，批量入湖的方法无法将实时产生的数据及时入湖，导致各下游数据使用者无法获取最新数据，从而影响数据的及时使用
。
[0004]针对相关技术中使用批量文件传输方式进行数据传输的传输时效性差的问题，目前尚未提出有效的解决方案
。

技术实现思路

[0005]本申请提供一种数据迁移方法
、
装置
、r/>存储介质以及电本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种数据迁移方法，其特征在于，包括：获取任务列表中的目标传输任务中包含的
M
个待迁移表格，并从所述
M
个待迁移表格所属的数据库中获取所述数据库的数据筛选策略，其中，
M
为正整数，每个待迁移表格中均存在数据；通过所述数据筛选策略依次对每个待迁移表格中的部分数据进行去除，得到
M
个候选表格，并依次根据每个候选表格中的数据生成第一文件，得到
P
个第一文件，其中，
P
为正整数；确定所述目标传输任务的任务类型，其中，所述任务类型包括临时任务和定时任务；在所述任务类型为定时任务的情况下，依次将每个第一文件发送至目标数据湖中所述第一文件的目标存储表；在所述任务类型为临时任务的情况下，获取每个第一文件的文件名称，并将所述文件名称相同的第一文件进行合并，得到
N
个第二文件，并依次将每个第二文件发送至目标数据湖中所述第一文件的目标存储表，其中，
N
为正整数
。2.
根据权利要求1所述的方法，其特征在于，在依次根据每个候选表格中的数据生成第一文件，得到
P
个第一文件之前，所述方法还包括：获取所述目标传输任务的预设文件生成时刻，并获取当前时刻，其中，所述当前时刻为执行所述获取任务列表中的目标传输任务中包含的
M
个待迁移表格的步骤的时刻；判断所述预设文件生成时刻与所述当前时刻是否相同；在所述预设文件生成时刻与所述当前时刻相同的情况下，执行所述依次根据每个候选表格中的数据生成第一文件，得到
P
个第一文件的步骤；在所述预设文件生成时刻与所述当前时刻不相同的情况下，暂停执行所述目标传输任务，直至所述当前时刻与所述预设文件生成时刻相同
。3.
根据权利要求1所述的方法，其特征在于，在依次根据每个候选表格中的数据生成第一文件，得到
P
个第一文件之后，所述方法还包括：依次对每个第一文件进行校验，根据校验结果确认所述
P
个第一文件中是否存在异常文件；在所述
P
个第一文件中不存在所述异常文件的情况下，在文件执行明细表中记录每个文件的生成结果，并执行确定所述
M
个待迁移表格的传输任务的任务类型的步骤；在所述
P
个第一文件中存在所述异常文件的情况下，在所述文件执行明细表中记录每个文件的生成结果，并将所述异常文件发送至服务端，并根据剩余非异常的第一文件执行所述确定所述目标传输任务的任务类型的步骤
。4.
根据权利要求1所述的方法，其特征在于，所述方法还包括：检测所述数据库中存储的多个初始表格中是否存在发生表结构变更的目标表格；在存在所述目标表格的情况下，获取所述目标表格的表结构变更内容，将所述表结构变更内容发送至所述目标数据湖，并在所述目标表格中记录第一预设时刻，其中，所述目标表格对应的目标存储表的表结构根据所述表结构变更内容进行变更，所述第一预设时刻表征所述目标表格对应的目标存储表的最晚变更时刻
。5.
根据权利要求4所述的方法，其特征在于，在获取所述目标表格的表结构变更内容之后，所述方法还包括：
从所述数据筛选策略中获取与所述目标表格相关的筛选内容，...

【专利技术属性】
技术研发人员：黄荣清，朱李悦，吴佳俊，浦婧蕾，
申请(专利权)人：中国工商银行股份有限公司，
类型：发明
国别省市：