数据校验方法、装置、分布式系统及存储介质制造方法及图纸

技术编号:43664252 阅读:18 留言:0更新日期:2024-12-13 12:53
本申请涉及大数据技术领域,提供一种数据校验方法、装置、分布式系统及存储介质。该方法响应于从第一设备集群接收到的数据校验请求,生成数据获取策略,数据校验请求包括源数据库及目标数据库的库标识,基于数据获取策略,从源数据库中获取源表数据,并基于源表数据从目标数据库中获取目标表数据,基于源表数据与目标表数据的比较,生成校验结果。上述方法能够提高校验效率以及准确性。

【技术实现步骤摘要】

本申请涉及大数据,具体涉及针对大数据的数据处理,尤其涉及一种数据校验方法、装置、分布式系统及存储介质


技术介绍

1、为了满足用户对数据搜索及分析的需求,在诸如电商等业务场景中,通常会将一数据库中的数据存储至另一数据库以便于数据搜索及分析。然而由于数据库之间的链接关系复杂、存储链路较长等诸多原因,导致多个数据库中出现数据不一致的情况。为此,需要采用数据校验方案对多个数据库的数据进行校验。然而,在相关的数据校验方案中,为了确保数据校验的准确性,通常直接对数据进行全量对比,然而,这种校验方式的校验效率低下,从而造成系统的过高负载。此外,如若随机抽取数据进行对比,当数据出现抽样不均时,将导致校验准确性低下。


技术实现思路

1、本申请提供一种数据校验方法、装置、分布式系统及存储介质,以解决在确保校验准确性的同时,如何提高校验效率的技术问题。

2、本申请实施例第一方面提供一种数据校验方法,应用于分布式系统,所述分布式系统包括第一设备集群及第二设备集群,所述方法包括:所述第一设备集群接收所述第二设备集群的所有本文档来自技高网...

【技术保护点】

1.一种数据校验方法,应用于分布式系统,其特征在于,所述分布式系统包括第一设备集群及第二设备集群,所述方法包括:

2.一种数据校验方法,其特征在于,应用于分布式系统中第二设备集群的工作节点,所述分布式系统还包括第一设备集群,所述方法包括:

3.根据权利要求2所述的数据校验方法,其特征在于,所述基于所述源表数据与所述目标表数据的比较,生成校验结果包括:

4.根据权利要求3所述的数据校验方法,其特征在于,所述根据所述当前比较轮次及所述差异数据确定所述校验结果包括:

5.根据权利要求4所述的数据校验方法,其特征在于,所述根据所述当前比较轮次及所述...

【技术特征摘要】

1.一种数据校验方法,应用于分布式系统,其特征在于,所述分布式系统包括第一设备集群及第二设备集群,所述方法包括:

2.一种数据校验方法,其特征在于,应用于分布式系统中第二设备集群的工作节点,所述分布式系统还包括第一设备集群,所述方法包括:

3.根据权利要求2所述的数据校验方法,其特征在于,所述基于所述源表数据与所述目标表数据的比较,生成校验结果包括:

4.根据权利要求3所述的数据校验方法,其特征在于,所述根据所述当前比较轮次及所述差异数据确定所述校验结果包括:

5.根据权利要求4所述的数据校验方法,其特征在于,所述根据所述当前比较轮次及所述差异数据确定所述校验结果还包括:

6...

【专利技术属性】
技术研发人员:方俊炜
申请(专利权)人:广州商研网络科技有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1