【技术实现步骤摘要】
本申请涉及大数据,具体涉及针对大数据的数据处理,尤其涉及一种数据校验方法、装置、分布式系统及存储介质。
技术介绍
1、为了满足用户对数据搜索及分析的需求,在诸如电商等业务场景中,通常会将一数据库中的数据存储至另一数据库以便于数据搜索及分析。然而由于数据库之间的链接关系复杂、存储链路较长等诸多原因,导致多个数据库中出现数据不一致的情况。为此,需要采用数据校验方案对多个数据库的数据进行校验。然而,在相关的数据校验方案中,为了确保数据校验的准确性,通常直接对数据进行全量对比,然而,这种校验方式的校验效率低下,从而造成系统的过高负载。此外,如若随机抽取数据进行对比,当数据出现抽样不均时,将导致校验准确性低下。
技术实现思路
1、本申请提供一种数据校验方法、装置、分布式系统及存储介质,以解决在确保校验准确性的同时,如何提高校验效率的技术问题。
2、本申请实施例第一方面提供一种数据校验方法,应用于分布式系统,所述分布式系统包括第一设备集群及第二设备集群,所述方法包括:所述第一设备集群接收所
...【技术保护点】
1.一种数据校验方法,应用于分布式系统,其特征在于,所述分布式系统包括第一设备集群及第二设备集群,所述方法包括:
2.一种数据校验方法,其特征在于,应用于分布式系统中第二设备集群的工作节点,所述分布式系统还包括第一设备集群,所述方法包括:
3.根据权利要求2所述的数据校验方法,其特征在于,所述基于所述源表数据与所述目标表数据的比较,生成校验结果包括:
4.根据权利要求3所述的数据校验方法,其特征在于,所述根据所述当前比较轮次及所述差异数据确定所述校验结果包括:
5.根据权利要求4所述的数据校验方法,其特征在于,所述根据所
...【技术特征摘要】
1.一种数据校验方法,应用于分布式系统,其特征在于,所述分布式系统包括第一设备集群及第二设备集群,所述方法包括:
2.一种数据校验方法,其特征在于,应用于分布式系统中第二设备集群的工作节点,所述分布式系统还包括第一设备集群,所述方法包括:
3.根据权利要求2所述的数据校验方法,其特征在于,所述基于所述源表数据与所述目标表数据的比较,生成校验结果包括:
4.根据权利要求3所述的数据校验方法,其特征在于,所述根据所述当前比较轮次及所述差异数据确定所述校验结果包括:
5.根据权利要求4所述的数据校验方法,其特征在于,所述根据所述当前比较轮次及所述差异数据确定所述校验结果还包括:
6...
【专利技术属性】
技术研发人员:方俊炜,
申请(专利权)人:广州商研网络科技有限公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。