一种数据迁移一致性质量稽核方法及系统技术方案

技术编号:41755351 阅读:21 留言:0更新日期:2024-06-21 21:38
本发明专利技术公开一种数据迁移一致性质量稽核方法及系统,属于数据处理技术领域;该方法包括:获取数据迁移前后的待对比数据;对待对比数据中的各个字段进行全量数据一致性比对,得到全量比对结果;从待对比数据中抽取部分数据作为抽样数据;对抽样数据中的字段逐行数据拼接后进行抽样数据一致性比对,得到抽样比对结果;根据数据量比对结果、全量比对结果和抽样比对结果,得到种数据迁移一致性质量稽核结果。本发明专利技术可以提升数据迁移数据一致性比对效率,降低人工成本,实现在最短的时间,高效的实现数据一致性比对。

【技术实现步骤摘要】

本专利技术涉及数据处理,具体涉及一种数据迁移一致性质量稽核方法及系统


技术介绍

1、数据类平台在运维过程中,当遇到硬件升级、平台升级或者架构升级等场景下,需要进行数据进行迁移,如果保证数据迁移过程中数据质量,是数据迁移过程中重要的一环。数据质量保障,是通过技术手段,对迁移前后的数据进行一致性、完整性检查,解决数据迁移过程中发生的数据缺失、数据格式错误等方法。

2、在数据迁移过程中质量比对过程中存在以下痛点,数据表多,数据量大的场景下,数据一致性比需要投入大量人力物力,而且传统依赖人工比对的方式,也比较容易出错;

3、此外,数据迁移对数据质量稽核比对时效性要求高,数据迁移完,需要尽快支撑业务及增量数据,所以需要平台能够快速完成迁移及质量比对;

4、并且,目前主流的一下质量稽核工具,并没有提供这种批量数据迁移的支撑能,需要逐个表去配置比对规则,这种方式,效率会比较低。

5、分析数据迁移场景,结合数据质量一致性保障机制和技术能力,总结现状需求问题,主要发现现状的技术路线存在以下问题:

<p>6、1.大数据场本文档来自技高网...

【技术保护点】

1.一种数据迁移一致性质量稽核方法,其特征在于,包括以下步骤:

2.根据权利要求1所述的数据迁移一致性质量稽核方法,其特征在于,对待对比数据中的各个字段进行全量数据一致性比对,得到全量比对结果,具体包括以下步骤:

3.根据权利要求2所述的数据迁移一致性质量稽核方法,其特征在于:

4.根据权利要求3所述的数据迁移一致性质量稽核方法,其特征在于,根据字符类型稽核比对脚本,对比待对比数据中的字段,得到全量比对结果,具体包括以下步骤:

5.根据权利要求4所述的数据迁移一致性质量稽核方法,其特征在于,对抽样数据中的字段逐行数据拼接后进行抽样数据一致性...

【技术特征摘要】

1.一种数据迁移一致性质量稽核方法,其特征在于,包括以下步骤:

2.根据权利要求1所述的数据迁移一致性质量稽核方法,其特征在于,对待对比数据中的各个字段进行全量数据一致性比对,得到全量比对结果,具体包括以下步骤:

3.根据权利要求2所述的数据迁移一致性质量稽核方法,其特征在于:

4.根据权利要求3所述的数据迁移一致性质量稽核方法,其特征在于,根据字符类型稽核比对脚本,对比待对比数据中的字段,得到全量比对结果,具体包括以下步骤:

5.根据权利要求4所述的数据迁移一致性质量稽核方法,其特征在于,对抽样数据中的字段逐行数据拼接后进行抽样数据一致性比对,得到抽样比对结果,具体包括以下步骤:...

【专利技术属性】
技术研发人员:严敏
申请(专利权)人:北京思特奇信息技术股份有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1