【技术实现步骤摘要】
本申请涉及数据处理领域,尤其涉及一种数据校验方法、装置、设备和介质。
技术介绍
1、在利用数据同步工具进行数据实时同步时分为三个阶段,第一阶段进行存量数据的初始化装载,获得数据同步的基础点;第二阶段以初始化数据装载建立的同步基础点为基准进行增量数据同步;第三阶段定期对数据同步的源端数据和目标数据进行比对校验,以确认在数据同步过程中没有丢失数据。其中第二阶段和第三阶段会处于长时间并行状态。
2、在第三阶段的运行过程中,数据比对校验中,要确保数据的一致性,需要定期对源端与目标端的数据进行数据校验,即对源端与目标端每个相互对应的表一一进行校验。为了提升数据校验的性能,现有的校验方法是采用多表并行校验的策略,能同时校验多个表。
3、然而在数据校验过程中,如果存在大表,即大数据量的表,在多表并行的情况下,大表的校验时间会超过其他表,影响整个校验时间。
技术实现思路
1、本申请提供一种数据校验方法、装置、设备和介质,用以缩短校验时间。
2、第一方面,本申请提供一种数
...【技术保护点】
1.一种数据校验方法,其特征在于,所述方法包括:
2.根据权利要求1所述的方法,其特征在于,所述方法还包括:
3.根据权利要求1所述的方法,其特征在于,所述根据所述第一分片区间的分散因子重新划分所述第一分片区间,具体包括:
4.根据权利要求1-3中任意一项所述的方法,其特征在于,所述根据预设步长对源端的表进行分片划分,获得至少两个初始分片区间,具体包括:
5.根据权利要求1-3中任意一项所述的方法,其特征在于,所述根据预设步长对源端的表进行划分,具体包括:
6.根据权利要求5所述的方法,其特征在于,所述方法还
...
【技术特征摘要】
1.一种数据校验方法,其特征在于,所述方法包括:
2.根据权利要求1所述的方法,其特征在于,所述方法还包括:
3.根据权利要求1所述的方法,其特征在于,所述根据所述第一分片区间的分散因子重新划分所述第一分片区间,具体包括:
4.根据权利要求1-3中任意一项所述的方法,其特征在于,所述根据预设步长对源端的表进行分片划分,获得至少两个初始分片区间,具体包括:
5.根据权利要求1-3中任意一项所述的方法,其特征在于,所述根据预设步长对源端的表进行划分...
【专利技术属性】
技术研发人员:李艺鸿,王凯龙,魏乾,
申请(专利权)人:北京人大金仓信息技术股份有限公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。