【技术实现步骤摘要】
本专利技术实施例涉及计算机，具体涉及一种流水数据迁移方法、电子设备及存储介质。
技术介绍
1、数据迁移方法应用于一个系统存在多个版本，准备将主链路切换至新版本时，需要将历史数据和增量数据从老系统迁移至新系统。
2、传统的数据迁移方法将迁移过程中的各个步骤(如包括基础数据校验、生成中间表、数据模型转换、数据核对、数据清洗等，不同的业务场景可以包括不同步骤)放在一个大的任务里面，虽实现简单，但存在任务耦合严重、不易维护的问题。
技术实现思路
1、针对现有技术存在的缺陷，本专利技术实施例提供一种流水数据迁移方法、电子设备及存储介质。
2、本专利技术实施例提供一种流水数据迁移方法，包括：获取流水数据的分片数据；对存量数据的所述分片数据，通过多节点分布式执行流水数据迁移任务；其中，所述流水数据迁移任务为根据流水数据迁移流程进行任务编排得到的多个任务中的任务；对应同一所述分片数据，后一流水数据迁移任务在前一流水数据迁移任务执行之后被触发；对增量数据的所述分片数据，通过单节点独立执行或多节点分布式执行所述流水数据迁移任务；其中，对于单节点独立执行方式，在前一分片数据的所述流水数据迁移任务全部执行完成之后再处理下一所述分片数据。
3、根据本专利技术实施例提供的一种流水数据迁移方法，所述方法还包括：每一个所述分片数据对应一个总状态机，所述总状态机用于控制分片数据的运行状态；针对每一个所述分片数据，每个所述流水数据迁移任务对应一个子状态机，用于控制所述分片数据处理时
4、根据本专利技术实施例提供的一种流水数据迁移方法，所述方法还包括：在执行所述分片数据的所述流水数据迁移任务前，请求分布式锁，在获取到分布式锁后，执行所述流水数据迁移任务；其中，对于存量数据的所述分片数据，所述分布式锁的标识包括分片标识和任务标识；对于增量数据的所述分片数据，若采用单节点独立执行方式，所述分布式锁的标识包括任务标识；若采用多节点分布式执行方式，所述分布式锁的标识包括分片标识和任务标识。
5、根据本专利技术实施例提供的一种流水数据迁移方法，所述流水数据迁移任务包括账户统计任务；所述方法还包括：在针对任一账户执行所述账户统计任务时，先请求悲观锁，再执行相应账户的统计任务。
6、根据本专利技术实施例提供的一种流水数据迁移方法，所述流水数据迁移任务包括数据模型转换任务，所述数据模型转换任务用于根据流水数据得到1个主表和m个明细表，m为大于等于1的整数；所述方法还包括：获取流水数据的原始id；设置数据模型转换后所述流水数据的主表的id为n*原始id，其中，n的取值为满足n>m，n＝10j的最小整数，j为大于等于1的整数；设置数据模型转换后所述流水数据的m个明细表的id分别为n*原始id+q，其中，1<＝q<＝m。
7、根据本专利技术实施例提供的一种流水数据迁移方法，所述流水数据迁移任务包括余额核对任务；对于增量数据的所述分片数据，若采用单节点独立执行方式，所述方法还包括：响应于当前处理的所述分片数据的账户期末余额校验通过，则将所述账户期末余额作为基准值存储入相应账户的余额核对基准表，并为所述基准值设置版本号；其中，所述基准值用于作为下一所述分片数据相应账户的余额核对任务的基准，所述版本号用于区分不同分片数据对应的所述期末账户余额。
8、根据本专利技术实施例提供的一种流水数据迁移方法，所述响应于当前处理的所述分片数据的账户期末余额校验通过，则将所述账户期末余额作为基准值存储入相应账户的余额核对基准表，并为所述基准值设置版本号，包括：响应于当前处理的所述分片数据的账户期末余额校验通过，则将所述账户期末余额作为基准值存储入相应账户的余额核对基准表，并为所述基准值设置取值为预设数值的版本号，并将之前存储的所述账户的基准值的版本号增加或减少所述预设数值。
9、根据本专利技术实施例提供的一种流水数据迁移方法，所述方法还包括：在需要回滚基准值时，删除版本号为所述预设数值的基准值，对所述余额核对基准表中其他基准值的版本号执行与设置删除的所述基准值的版本号时相反的操作；将当前版本号为所述预设数值的基准值作为新的基准值。
10、本专利技术实施例还提供一种流水数据迁移装置，包括：分片数据获取模块，用于：获取流水数据的分片数据；存量数据迁移模块，用于：对存量数据的所述分片数据，通过多节点分布式执行流水数据迁移任务；其中，所述流水数据迁移任务为根据流水数据迁移流程进行任务编排得到的多个任务中的任务；对应同一所述分片数据，后一流水数据迁移任务在前一流水数据迁移任务执行之后被触发；增量数据迁移模块，用于：对增量数据的所述分片数据，通过单节点独立执行或多节点分布式执行所述流水数据迁移任务；其中，对于单节点独立执行方式，在前一分片数据的所述流水数据迁移任务全部执行完成之后再处理下一所述分片数据。
11、本专利技术实施例还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述流水数据迁移方法的步骤。
12、本专利技术实施例还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述流水数据迁移方法的步骤。
13、本专利技术实施例还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述流水数据迁移方法的步骤。
14、本专利技术实施例提供的流水数据迁移方法、电子设备及存储介质，通过获取流水数据的分片数据，对存量数据的分片数据，通过多节点分布式执行流水数据迁移任务，对增量数据的分片数据，通过单节点独立执行或多节点分布式执行流水数据迁移任务，且在前一分片数据的流水数据迁移任务全部执行完成之后再处理下一分片数据，其中，流水数据迁移任务为根据流水数据迁移流程进行任务编排得到的多个任务中的任务，通过将流水数据迁移过程编排为具有依赖关系的多个流水数据迁移任务，解决了任务耦合严重、不易维护的问题。
本文档来自技高网...【技术保护点】
1.一种流水数据迁移方法，其特征在于，包括：
2.根据权利要求1所述的流水数据迁移方法，其特征在于，所述方法还包括：
3.根据权利要求1所述的流水数据迁移方法，其特征在于，所述方法还包括：
4.根据权利要求3所述的流水数据迁移方法，其特征在于，所述流水数据迁移任务包括账户统计任务；所述方法还包括：
5.根据权利要求1所述的流水数据迁移方法，其特征在于，所述流水数据迁移任务包括数据模型转换任务，所述数据模型转换任务用于根据流水数据得到1个主表和m个明细表，m为大于等于1的整数；所述方法还包括：
6.根据权利要求1所述的流水数据迁移方法，其特征在于，所述流水数据迁移任务包括余额核对任务；对于增量数据的所述分片数据，若采用单节点独立执行方式，所述方法还包括：
7.根据权利要求6所述的流水数据迁移方法，其特征在于，所述响应于当前处理的所述分片数据的账户期末余额校验通过，则将所述账户期末余额作为基准值存储入相应账户的余额核对基准表，并为所述基准值设置版本号，包括：
8.根据权利要求6所述的流水数据迁移方法，
9.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至8任一项所述流水数据迁移方法的步骤。
10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至8任一项所述流水数据迁移方法的步骤。
...【技术特征摘要】
1.一种流水数据迁移方法，其特征在于，包括：
2.根据权利要求1所述的流水数据迁移方法，其特征在于，所述方法还包括：
3.根据权利要求1所述的流水数据迁移方法，其特征在于，所述方法还包括：
4.根据权利要求3所述的流水数据迁移方法，其特征在于，所述流水数据迁移任务包括账户统计任务；所述方法还包括：
5.根据权利要求1所述的流水数据迁移方法，其特征在于，所述流水数据迁移任务包括数据模型转换任务，所述数据模型转换任务用于根据流水数据得到1个主表和m个明细表，m为大于等于1的整数；所述方法还包括：
6.根据权利要求1所述的流水数据迁移方法，其特征在于，所述流水数据迁移任务包括余额核对任务；对于增量数据的所述分片数据，若采用单节点独...
【专利技术属性】
技术研发人员：陈志福，杨杰，刘进涛，张明凯，李信凯，
申请(专利权)人：北京理房通支付科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。