【技术实现步骤摘要】
本专利技术涉及数据处理,具体涉及一种数据迁移一致性质量稽核方法及系统。
技术介绍
1、数据类平台在运维过程中,当遇到硬件升级、平台升级或者架构升级等场景下,需要进行数据进行迁移,如果保证数据迁移过程中数据质量,是数据迁移过程中重要的一环。数据质量保障,是通过技术手段,对迁移前后的数据进行一致性、完整性检查,解决数据迁移过程中发生的数据缺失、数据格式错误等方法。
2、在数据迁移过程中质量比对过程中存在以下痛点,数据表多,数据量大的场景下,数据一致性比需要投入大量人力物力,而且传统依赖人工比对的方式,也比较容易出错;
3、此外,数据迁移对数据质量稽核比对时效性要求高,数据迁移完,需要尽快支撑业务及增量数据,所以需要平台能够快速完成迁移及质量比对;
4、并且,目前主流的一下质量稽核工具,并没有提供这种批量数据迁移的支撑能,需要逐个表去配置比对规则,这种方式,效率会比较低。
5、分析数据迁移场景,结合数据质量一致性保障机制和技术能力,总结现状需求问题,主要发现现状的技术路线存在以下问题:
< ...【技术保护点】
1.一种数据迁移一致性质量稽核方法,其特征在于,包括以下步骤:
2.根据权利要求1所述的数据迁移一致性质量稽核方法,其特征在于,对待对比数据中的各个字段进行全量数据一致性比对,得到全量比对结果,具体包括以下步骤:
3.根据权利要求2所述的数据迁移一致性质量稽核方法,其特征在于:
4.根据权利要求3所述的数据迁移一致性质量稽核方法,其特征在于,根据字符类型稽核比对脚本,对比待对比数据中的字段,得到全量比对结果,具体包括以下步骤:
5.根据权利要求4所述的数据迁移一致性质量稽核方法,其特征在于,对抽样数据中的字段逐行数据拼接
...【技术特征摘要】
1.一种数据迁移一致性质量稽核方法,其特征在于,包括以下步骤:
2.根据权利要求1所述的数据迁移一致性质量稽核方法,其特征在于,对待对比数据中的各个字段进行全量数据一致性比对,得到全量比对结果,具体包括以下步骤:
3.根据权利要求2所述的数据迁移一致性质量稽核方法,其特征在于:
4.根据权利要求3所述的数据迁移一致性质量稽核方法,其特征在于,根据字符类型稽核比对脚本,对比待对比数据中的字段,得到全量比对结果,具体包括以下步骤:
5.根据权利要求4所述的数据迁移一致性质量稽核方法,其特征在于,对抽样数据中的字段逐行数据拼接后进行抽样数据一致性比对,得到抽样比对结果,具体包括以下步骤:...
【专利技术属性】
技术研发人员:严敏,
申请(专利权)人:北京思特奇信息技术股份有限公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。