一种跨集群数据一致性校验方法、装置以及计算机设备制造方法及图纸

技术编号:41180947 阅读:25 留言:0更新日期:2024-05-07 22:15
本申请涉及大数据处理技术领域,特别是涉及一种跨集群数据一致性校验方法、装置、计算机设备、存储介质和计算机程序产品。响应于数据校验需求,确定参与数据比对的源端数据集群以及目标端数据集群;基于预设的排序处理流程对所述源端数据集群中的数据进行排序,得到源端数据队列;基于所述排序处理流程对所述目标端数据集群中的数据进行排序,得到目标端数据队列;将所述源端数据队列与所述目标端数据队列进行有序比对,得到数据一致性校验结果。采用本方法能够提高数据比对效率以及比对结果准确度。

【技术实现步骤摘要】

本申请涉及大数据处理,特别是涉及一种跨集群数据一致性校验方法、装置、计算机设备、存储介质和计算机程序产品。


技术介绍

1、高斯集群通常指的是高斯混合模型(gaussian mixture model,gmm)中的集群,gmm是一种用于对数据进行聚类的统计模型。在机器学习和模式识别领域,gmm被广泛应用于对数据进行聚类分析。gmm假设数据是由若干个高斯分布混合而成的,每个高斯分布对应一个集群。这意味着gmm可以用来发现数据中的不同分布模式,并将数据点分配到不同的集群中。在gmm中,每个集群都由一个高斯分布来表示,包括均值和协方差矩阵。gmm的训练过程通常是基于最大期望(expectation-maximization,em)算法进行的。该算法通过迭代的方式,不断更新每个高斯分布的参数,直到收敛为止。在训练完成后,gmm可以用来对新的数据进行聚类,即将数据点分配到最有可能的高斯分布中。gmm在许多领域都有广泛的应用,包括图像处理、语音识别、模式识别、数据挖掘等。它可以帮助我们发现数据中的潜在模式和结构,从而更好地理解数据。

2、在分布式系统中,数据本文档来自技高网...

【技术保护点】

1.一种跨集群数据一致性校验方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述基于预设的排序处理流程对所述源端数据集群中的数据进行排序,得到源端数据队列包括:

3.根据权利要求2所述的方法,其特征在于,所述基于所述排序处理流程对所述目标端数据集群中的数据进行排序,得到目标端数据队列包括:

4.根据权利要求1所述的方法,其特征在于,所述将所述源端数据队列与所述目标端数据队列进行有序比对,得到数据一致性校验结果包括:

5.根据权利要求3所述的方法,其特征在于,所述在多个并行的线程中,对多组成对的所述源端数据子队列以...

【技术特征摘要】

1.一种跨集群数据一致性校验方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述基于预设的排序处理流程对所述源端数据集群中的数据进行排序,得到源端数据队列包括:

3.根据权利要求2所述的方法,其特征在于,所述基于所述排序处理流程对所述目标端数据集群中的数据进行排序,得到目标端数据队列包括:

4.根据权利要求1所述的方法,其特征在于,所述将所述源端数据队列与所述目标端数据队列进行有序比对,得到数据一致性校验结果包括:

5.根据权利要求3所述的方法,其特征在于,所述在多个并行的线程中,对多组成对的所述源端数据子队列以及所述目标端数据子队列进行并行比对包括:

6....

【专利技术属性】
技术研发人员:吴慧辰王厚玉许天娇范铮
申请(专利权)人:中国人寿保险股份有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1