一种基于随机抽样的数据同步比对方法、装置及系统制造方法及图纸

本发明专利技术提供了一种基于随机抽样的数据同步比对方法、装置及系统，涉及数据检查技术领域。本发明专利技术所述的基于随机抽样的数据同步比对方法，包括：根据随机抽样规则配置生成抽样比对配置表；根据所述抽样比对配置表生成抽样数据表；根据所述抽样数据表和目标端数据表生成比对验证结果表，根据所述比对验证结果表判断比对验证是否通过。本发明专利技术所述的技术方案，基于随机抽样规则配置对数据同步的源端和目标端的数据一致性进行检查，将抽样数据表直接与目标端的数据表通过主键进行匹配比对，实现数据同步记录的比对验证，准确高效确保数据源端和目标端数据记录的一致性。和目标端数据记录的一致性。和目标端数据记录的一致性。

【技术实现步骤摘要】
一种基于随机抽样的数据同步比对方法、装置及系统


[0001]本专利技术涉及数据检查
，具体而言，涉及一种基于随机抽样的数据同步比对方法、装置及系统。

技术介绍

[0002]随着大数据的不断发展各种各样的数据源不断增加，为了加强数据的整合利用，数据同步已经普遍应用于各个大数据平台，但数据在同步过程中可能会存在数据出错的情况，因此保证数据同步的准确性和一致性显得尤为重要。
[0003]目前在数据同步的准确性检查中应用较为普遍的是检查比对数据同步前后的数据总量是否一致，但是数据的一致性检查往往被忽略，且现有数据一致性检查方法较为繁琐且不利于大量数据表同步检查。

技术实现思路

[0004]本专利技术解决的问题是如何实现数据准确高效的一致性检查。
[0005]为解决上述问题，本专利技术提供一种基于随机抽样的数据同步比对方法，包括：根据随机抽样规则配置生成抽样比对配置表；根据所述抽样比对配置表生成抽样数据表；根据所述抽样数据表和目标端数据表生成比对验证结果表，根据所述比对验证结果表判断比对验证是否通过。
[00本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于随机抽样的数据同步比对方法，其特征在于，包括：根据随机抽样规则配置生成抽样比对配置表；根据所述抽样比对配置表生成抽样数据表；根据所述抽样数据表和目标端数据表生成比对验证结果表，根据所述比对验证结果表判断比对验证是否通过。2.根据权利要求1所述的基于随机抽样的数据同步比对方法，其特征在于，所述根据随机抽样规则配置生成抽样比对配置表包括：根据随机抽样规则配置项确定抽样数据记录样本数量、配置数据表主键以及配置数据类型字段，根据所述抽样数据记录样本数量、所述数据表主键和所述数据类型字段生成所述抽样比对配置表。3.根据权利要求2所述的基于随机抽样的数据同步比对方法，其特征在于，所述数据类型字段包括字符串字段、数值型字段和时间类型字段，所述配置数据类型字段包括：从所述字符串字段、所述数值型字段和所述时间类型字段中各自选取一个代表字段作为抽样比对字段。4.根据权利要求2所述的基于随机抽样的数据同步比对方法，其特征在于，所述根据随机抽样规则配置生成抽样比对配置表还包括：当存在多个需要比对的数据表时，将多个需要比对的所述数据表的配置写入所述抽样比对配置表。5.根据权利要求1所述的基于随机抽样的数据同步比对方法，其特征在于，所述根据所述抽样数据表和目标端数据表生成比对验证结果表包括：将所述抽样数据表与所述目标端数据表进行匹配比对，根据匹...

【专利技术属性】
技术研发人员：杨连群，张研，
申请(专利权)人：安徽航天信息有限公司，
类型：发明
国别省市：