系统重构的数据处理方法、计算机设备及存储介质技术方案

本申请公开了一种系统重构的数据处理方法、计算机设备及存储介质，该数据处理方法包括：首先对数据仓库方和重构业务系统的数据表进行映射关系梳理，形成映射清单；然后根据映射关系生成模型层；最后利用模型层进行新旧数据的迁移。本申请通过建设数据仓库模型层，根据模型层进行新旧业务系统的数据表整合，并完善新业务系统数据资产信息，各数据应用方可根据更加有质量的模型层进行业务系统的重构改造，无需再各自一对一地与重构业务系统进行重构逻辑确认，降低数据研发成本和数据测试成本，提高工作效率，同时降低对数据应用方的业务系统造成的影响。务系统造成的影响。务系统造成的影响。

【技术实现步骤摘要】
系统重构的数据处理方法、计算机设备及存储介质


[0001]本申请涉及金融
，具体是涉及一种系统重构的数据处理方法、计算机设备及存储介质。

技术介绍

[0002]因银行内技术框架更新以及业务发展要求，业务系统存在技术框架更新以及数据模型升级的诉求。由于银行内存在各系统进行数据交互的情况，以及各分析型数据系统在进行日常经营分析以及功能交互时存在使用重构系统数据的情况。相关技术中对业务系统的重构需要投入大量的时间和人力，且对数据应用方的系统会造成较大的影响。

技术实现思路

[0003]有鉴于此，本申请提供一种系统重构的数据处理方法、计算机设备及存储介质，以解决现有技术中对业务系统的重构需要投入大量的时间和人力，且对数据应用方的系统会造成较大影响的问题。
[0004]为了解决上述技术问题，本申请提供的第一个技术方案为：提供一种系统重构的数据处理方法，包括：对数据仓库方和重构业务系统的数据表进行映射关系梳理，形成映射清单；根据所述映射关系生成模型层；利用所述模型层进行新旧数据的迁移。
[0005]其中，在所述对所述数据仓库方和重构业务系统的数据表进行映射关系梳理，形成映射清单之前，包括：确定所述重构业务系统的数据表的范围，并确定所述数据应用方的影响范围；基于所述数据应用方的影响范围确定所述重构业务系统的数据表的变更范围；根据所述重构业务系统的数据表的变更范围对所述数据仓库方和所述模型层的建设和使用情况进行梳理，以进行所述模型层的数据补足。
[0006]其中，所述对数据仓库方和重构业务系统的数据表进行映射关系梳理，形成映射清单包括：对所述数据应用方的影响范围内的所述重构业务系统的数据表进行新旧数据表之间的映射关系梳理；基于所述新旧数据表之间的映射关系梳理明确表级和字段级的映射清单。
[0007]其中，所述根据所述映射关系生成模型层包括：根据所述重构业务系统的数据表的主题之间的映射关系生成所述模型层；和/或根据所述重构业务系统的数据表的字段之间的映射关系生成所述模型层。
[0008]其中，所述利用所述模型层进行新旧数据的迁移包括：利用所述模型层所对应的所述新旧数据之间的所述映射关系进行所述新旧数据的迁移。
[0009]其中，所述数据仓库方与数据应用方同步进行数据开发，包括：所述数据仓库方和所述数据应用方根据所述映射清单同步进行数据开发。
[0010]其中，所述数据仓库方和所述数据应用方根据所述映射清单同步进行数据开发包括：所述数据仓库方和所述数据应用方同步进行所述模型层的开发；以及基于所述模型层的开发对多个所述数据应用方的所述新旧数据进行所述模型层和所述重构业务系统的数
据表之间的切换。
[0011]其中，所述数据仓库方与数据应用方同步进行数据开发之后，还包括：所述数据应用方在完成所述数据开发后进行数据测试；以及所述数据仓库方完成所述模型层开发后进行数据测试。
[0012]其中，所述数据仓库方完成所述模型层开发后进行数据测试包括：进行业务系统的新旧数据的差异点内容测试；对完成所述业务系统的新旧数据的迁移之后的数据准确性进行核验；进行所述业务系统的新旧数据的时效差异情况核验；响应于上述的测试均核验无误，则所述数据仓库方进行数据测试的步骤完成。
[0013]其中，所述进行业务系统的新旧数据的差异点内容测试包括：核验所述业务系统的新旧数据的一致性；响应于所述业务系统的新旧数据一致，核验所述业务系统的新旧数据的码值是否变化；响应于所述业务系统的新旧数据的码值均无变化，则核验所述业务系统的新旧数据表的数据是否需要合并。
[0014]其中，所述数据应用方在完成所述数据开发后进行数据测试包括：对于同一天的数据，核验所述业务系统的新旧数据表的数据一致性；核验切换所述模型层及所述重构业务系统的数据表后，所述码值过滤是否需要修改；核验切换所述模型层及所述重构业务系统的数据表的映射关系是否一致；核验新增数据的码值内容是否一致，数据量浮动情况是否正常；核验切换所述模型层及所述重构业务系统的数据表后，数据时效是否发生变化；响应于上述的测试均核验无误，则所述数据应用方进行数据测试的步骤完成。
[0015]为了解决上述技术问题，本申请提供的第二个技术方案为：提供一种计算机设备，包括：处理器和存储器，存储器连接所述处理器，用于存储可在所述处理器上运行的计算机程序；其中，所述处理器执行所述计算机程序时实现上述任一项所述的方法。
[0016]为了解决上述技术问题，本申请提供的第三个技术方案为：提供一种计算机可读的存储介质，所述计算机可读的存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一项所述的方法。
[0017]本申请的有益效果：区别于现有技术，本申请的系统重构的数据处理方法包括：首先对数据仓库方和重构业务系统的数据表进行映射关系梳理，形成映射清单；然后根据所述映射关系生成模型层；最后利用所述模型层进行新旧数据的迁移。本申请通过建设数据仓库模型层，根据模型层进行新旧业务系统的数据表整合，并完善新业务系统数据资产信息，各数据应用方可根据更加有质量的模型层进行业务系统的重构改造，无需再各自一对一地与重构业务系统进行重构逻辑确认，降低数据研发成本和数据测试成本，提高工作效率，同时降低对数据应用方的业务系统造成的影响。
附图说明
[0018]为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
[0019]图1是本申请一实施例提供的系统重构的数据处理方法的流程框图；图2是本申请一实施例提供的数据层分布及数据管理的处理过程示意图；
图3是本申请一实施例提供的在对数据仓库方和重构业务系统的数据表进行映射关系梳理，形成映射清单之前的步骤的流程框图；图4是本申请一实施例提供的在对数据仓库方和重构业务系统的数据表进行映射关系梳理，形成映射清单的步骤的流程框图；图5是本申请一实施例提供的根据映射关系生成模型层的步骤的流程框图；图6是本申请一实施例提供的利用模型层进行新旧数据的迁移的步骤之后的流程框图；图7是本申请一实施例提供的据仓库方和数据应用方根据映射清单同步进行数据开发的步骤的流程框图；图8是本申请一实施例提供的数据仓库方和数据应用方的交互示意图；图9是本申请一实施例提供的数据应用方在完成数据开发后进行数据测试的步骤的流程框图；图10是本申请一实施例提供的数据仓库方完成模型层开发后进行数据测试的步骤的流程框图；图11是本申请一实施例提供的进行业务系统的新旧数据的差异点内容测试的流程框图；图12是本申请一实施例提供的计算机设备的结构示意图；图13是本申请一实施例提供的计算机可读的存储介质的结构示意框图。
具体实施方式
[0020]下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种系统重构的数据处理方法，其特征在于，包括：对数据仓库方和重构业务系统的数据表进行映射关系梳理，形成映射清单；根据所述映射关系生成模型层；利用所述模型层进行新旧数据的迁移。2.根据权利要求1所述的方法，其特征在于，在所述对数据仓库方和重构业务系统的数据表进行映射关系梳理，形成映射清单之前，包括：确定所述重构业务系统的数据表的范围，并确定所述数据应用方的影响范围；基于所述数据应用方的影响范围确定所述重构业务系统的数据表的变更范围；根据所述重构业务系统的数据表的变更范围对所述数据仓库方和所述模型层的建设和使用情况进行梳理，以进行所述模型层的数据补足。3.根据权利要求2所述的方法，其特征在于，所述对数据仓库方和重构业务系统的数据表进行映射关系梳理，形成映射清单包括：对所述数据应用方的影响范围内的所述重构业务系统的数据表进行新旧数据表之间的映射关系梳理；基于所述新旧数据表之间的映射关系梳理明确表级和字段级的映射清单。4.根据权利要求1所述的方法，其特征在于，所述根据所述映射关系生成模型层包括：根据所述重构业务系统的数据表的主题之间的映射关系生成所述模型层；和/或根据所述重构业务系统的数据表的字段之间的映射关系生成所述模型层。5.根据权利要求4所述的方法，其特征在于，所述利用所述模型层进行新旧数据的迁移包括：利用所述模型层所对应的所述新旧数据之间的所述映射关系进行所述新旧数据的迁移。6.根据权利要求1所述的方法，其特征在于，所述数据仓库方与数据应用方同步进行数据开发，包括：所述数据仓库方和所述数据应用方根据所述映射清单同步进行数据开发。7.根据权利要求6所述的方法，其特征在于，所述数据仓库方和所述数据应用方根据所述映射清单同步进行数据开发包括：所述数据仓库方和所述数据应用方同步进行所述模型层的开发；以及基于所述模型层的开发对多个所述数据应用方的所述新旧数据进行所述模型层和所述重构业务系统的数据表之间的切换。8.根据权利要...

【专利技术属性】
技术研发人员：黄倩玲，
申请(专利权)人：平安银行股份有限公司，
类型：发明
国别省市：