流水数据迁移方法、电子设备及存储介质技术

本发明专利技术实施例提供一种流水数据迁移方法、电子设备及存储介质，该方法包括：获取流水数据的分片数据；对存量数据的分片数据，通过多节点分布式执行流水数据迁移任务；流水数据迁移任务为根据流水数据迁移流程进行任务编排得到的，后一流水数据迁移任务依赖于前一流水数据迁移任务，在前一流水数据迁移任务执行之后被触发；对增量数据的分片数据，通过单节点独立执行或多节点分布式执行流水数据迁移任务；对于单节点独立执行方式，在前一分片数据的流水数据迁移任务全部执行完成之后再处理下一分片数据。本发明专利技术实施例提供的流水数据迁移方法、电子设备及存储介质，通过将流水数据迁移过程编排为具有依赖关系的多个流水数据迁移任务，解决了任务耦合严重、不易维护的问题。

【技术实现步骤摘要】

本专利技术实施例涉及计算机，具体涉及一种流水数据迁移方法、电子设备及存储介质。

技术介绍

1、数据迁移方法应用于一个系统存在多个版本，准备将主链路切换至新版本时，需要将历史数据和增量数据从老系统迁移至新系统。

2、传统的数据迁移方法将迁移过程中的各个步骤(如包括基础数据校验、生成中间表、数据模型转换、数据核对、数据清洗等，不同的业务场景可以包括不同步骤)放在一个大的任务里面，虽实现简单，但存在任务耦合严重、不易维护的问题。

技术实现思路

1、针对现有技术存在的缺陷，本专利技术实施例提供一种流水数据迁移方法、电子设备及存储介质。

2、本专利技术实施例提供一种流水数据迁移方法，包括：获取流水数据的分片数据；对存量数据的所述分片数据，通过多节点分布式执行流水数据迁移任务；其中，所述流水数据迁移任务为根据流水数据迁移流程进行任务编排得到的多个任务中的任务；对应同一所述分片数据，后一流水数据迁移任务在前一流水数据迁移任务执行之后被触发；对增量数据的所述分片数据，通过单节点独立执行或多节点分布式执本文档来自技高网...

【技术保护点】

1.一种流水数据迁移方法，其特征在于，包括：

2.根据权利要求1所述的流水数据迁移方法，其特征在于，所述方法还包括：

3.根据权利要求1所述的流水数据迁移方法，其特征在于，所述方法还包括：

4.根据权利要求3所述的流水数据迁移方法，其特征在于，所述流水数据迁移任务包括账户统计任务；所述方法还包括：

5.根据权利要求1所述的流水数据迁移方法，其特征在于，所述流水数据迁移任务包括数据模型转换任务，所述数据模型转换任务用于根据流水数据得到1个主表和m个明细表，m为大于等于1的整数；所述方法还包括：

6.根据权利要求1所述的流水数据迁移...

【技术特征摘要】

1.一种流水数据迁移方法，其特征在于，包括：

2.根据权利要求1所述的流水数据迁移方法，其特征在于，所述方法还包括：

3.根据权利要求1所述的流水数据迁移方法，其特征在于，所述方法还包括：

4.根据权利要求3所述的流水数据迁移方法，其特征在于，所述流水数据迁移任务包括账户统计任务；所述方法还包括：

5.根据权利要求1所述的流水数据迁移方法，其特征在于，所述流水数据迁移任务包括数据模型转换任务，所述数据模型转换任务用于根据流水数据得到1个主表和m个明细表，m为大于等于1的整数；所述方法还包括：

6.根据权利要求1所述的流水数据迁移方法，其特征在于，所述流水数据迁移任务包括余额核对任务；对于增量数据的所述分片数据，若采用单节点独...

【专利技术属性】
技术研发人员：陈志福，杨杰，刘进涛，张明凯，李信凯，
申请(专利权)人：北京理房通支付科技有限公司，
类型：发明
国别省市：