数据校验方法、装置、设备和介质制造方法及图纸

技术编号:40956817 阅读:30 留言:0更新日期:2024-04-18 20:33
本申请提供一种数据校验方法、装置、设备和介质,判断每个初始分片区间的分散因子是否处于分散因子区间内,若否,根据第一分片区间的分散因子重新划分第一分片区间。而后,计算重新划分后,所有分片区间的分散因子,并判断所有分片区间的分散因子是否处于分散因子区间内,若否,继续重新划分,直至划分次数在预设次数内时,所有分片区间的分散因子处于分散因子区间内,将最后一次划分后的所有分片区间作为目标分片区间。最后,基于目标分片区间对表进行并行校验。由于所有分片区间的分散因子处于分散因子区间内,则所有分片区间的数据量相差较小,提高分片均匀性,从而能够在基于分片区间进行并行校验时,提升校验速度,缩短校验时间。

【技术实现步骤摘要】

本申请涉及数据处理领域,尤其涉及一种数据校验方法、装置、设备和介质


技术介绍

1、在利用数据同步工具进行数据实时同步时分为三个阶段,第一阶段进行存量数据的初始化装载,获得数据同步的基础点;第二阶段以初始化数据装载建立的同步基础点为基准进行增量数据同步;第三阶段定期对数据同步的源端数据和目标数据进行比对校验,以确认在数据同步过程中没有丢失数据。其中第二阶段和第三阶段会处于长时间并行状态。

2、在第三阶段的运行过程中,数据比对校验中,要确保数据的一致性,需要定期对源端与目标端的数据进行数据校验,即对源端与目标端每个相互对应的表一一进行校验。为了提升数据校验的性能,现有的校验方法是采用多表并行校验的策略,能同时校验多个表。

3、然而在数据校验过程中,如果存在大表,即大数据量的表,在多表并行的情况下,大表的校验时间会超过其他表,影响整个校验时间。


技术实现思路

1、本申请提供一种数据校验方法、装置、设备和介质,用以缩短校验时间。

2、第一方面,本申请提供一种数据校验方法,包括:<本文档来自技高网...

【技术保护点】

1.一种数据校验方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述方法还包括:

3.根据权利要求1所述的方法,其特征在于,所述根据所述第一分片区间的分散因子重新划分所述第一分片区间,具体包括:

4.根据权利要求1-3中任意一项所述的方法,其特征在于,所述根据预设步长对源端的表进行分片划分,获得至少两个初始分片区间,具体包括:

5.根据权利要求1-3中任意一项所述的方法,其特征在于,所述根据预设步长对源端的表进行划分,具体包括:

6.根据权利要求5所述的方法,其特征在于,所述方法还包括:

...

【技术特征摘要】

1.一种数据校验方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述方法还包括:

3.根据权利要求1所述的方法,其特征在于,所述根据所述第一分片区间的分散因子重新划分所述第一分片区间,具体包括:

4.根据权利要求1-3中任意一项所述的方法,其特征在于,所述根据预设步长对源端的表进行分片划分,获得至少两个初始分片区间,具体包括:

5.根据权利要求1-3中任意一项所述的方法,其特征在于,所述根据预设步长对源端的表进行划分...

【专利技术属性】
技术研发人员:李艺鸿王凯龙魏乾
申请(专利权)人:北京人大金仓信息技术股份有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1