异构数据一致性校验方法、装置、设备和可读存储介质制造方法及图纸

技术编号:42017209 阅读:13 留言:0更新日期:2024-07-16 23:10
本申请涉及大数据处理技术领域,公开了一种异构数据一致性校验方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。所述方法包括:将校验内容配置文件封装为多批次的表配置;针对通过配置内容校验的每批次的表配置,当与表配置匹配的数据表在源端和目标端的行数一致,基于源端和目标端各自适配的数据类型及表配置,生成用于获取数据表的源端数据的第一查询语句、用于获取数据表的目标端数据的第二查询语句;基于源端数据计算数据表中每个字段在源端的列校验值,基于目标端数据计算每个字段在目标端的列校验值;当每个字段在源端和目标端的列校验值一致,确定数据表通过校验。采用本方法能够对迁移前后的异构数据准确进行一致性校验。

【技术实现步骤摘要】

本申请涉及大数据处理,特别是涉及一种异构数据一致性校验方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。


技术介绍

1、随着数据库的发展,数据库使用方纷纷对数据库进行国产化改造,例如,将数据从旧数据库迁移至新数据库。但企业级的数据量极大,易因各种因素导致迁移前后数据不一致,且由于国产化数据库的选型众多,常常会出现在异构数据库之间进行数据迁移的场景,而异构数据库在结构上又存在差异,更容易导致迁移前后数据不一致。因此,项目组在进行异构数据库的数据迁移时,更无法确保迁移前后的异构数据一致性,需要对迁移前后的异构数据进行校验。

2、传统技术中,可以通过随机抽样校验的方式,对迁移前后的异构数据进行一致性校验,但随机抽样会存在漏检,无法满足校验精度需求。因此,传统技术中无法对迁移前后的异构数据准确进行一致性校验。


技术实现思路

1、基于此,有必要针对上述技术问题,提供一种能够对迁移前后的异构数据准确进行一致性校验的异构数据一致性校验方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。

本文档来自技高网...

【技术保护点】

1.一种异构数据一致性校验方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述将所述校验内容配置文件封装为多个批次的表配置,包括:

3.根据权利要求2所述的方法,其特征在于,所述按照与所述校验类型匹配的封装方式,将从所述校验内容配置文件读取出的数据,封装为多个批次的表配置,包括:

4.根据权利要求2所述的方法,其特征在于,所述按照与所述校验类型匹配的封装方式,将从所述校验内容配置文件读取出的数据,封装为多个批次的表配置,包括:

5.根据权利要求1所述的方法,其特征在于,所述方法还包括:

6.根据权利要...

【技术特征摘要】

1.一种异构数据一致性校验方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述将所述校验内容配置文件封装为多个批次的表配置,包括:

3.根据权利要求2所述的方法,其特征在于,所述按照与所述校验类型匹配的封装方式,将从所述校验内容配置文件读取出的数据,封装为多个批次的表配置,包括:

4.根据权利要求2所述的方法,其特征在于,所述按照与所述校验类型匹配的封装方式,将从所述校验内容配置文件读取出的数据,封装为多个批次的表配置,包括:

5.根据权利要求1所述的方法,其特征在于,所述方法还包括:

6.根据权利要求5所述的方法,其特征在于,所述依次将所述多个批次的表配置,作为待校验批次的表配置进行配置内容校验,包括:

7.根据权利要求1所述的方法,其特征在于,所述方法还包括:

8.根据权利要求7所述的方法,其特征在于,所述方法还包括:

9.根据权利要求7所述的方法,其特征在于,所述方法还包括:

10.根据权利要求1所述的方法,其特征在于,所述根据所述源端数据计算所述数据表中每个字段在所述源端的列校验值,包括:

11.一种异构数据一致性校验装置,其特征在于,所述装置包括:

12.根据权利要求11所述的装...

【专利技术属性】
技术研发人员:朱惠陈悌宇赵晓龙彭建恩
申请(专利权)人:中国建设银行股份有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1