数据质量检核方法、装置、设备及存储介质制造方法及图纸

本申请涉及一种数据质量检核方法、装置、设备及存储介质。该方法包括从被检核数据库中提取目标元数据表；从目标元数据表中提取目标属性元数据表；采用关键数据属性库与目标属性元数据表进行匹配，生成数据检核清单；按照数据检核清单对被检核数据库进行质量检核。由关键数据属性库中的数据关联有关键数据属性检核规则，因此通过关键数据属性库与目标属性元数据表的匹配，可以快速确定目标属性元数据表中各数据所匹配的关键数据属性检核规则，大大提高了数据质量检核的效率。提高了数据质量检核的效率。提高了数据质量检核的效率。

【技术实现步骤摘要】
数据质量检核方法、装置、设备及存储介质


[0001]本申请涉及计算机领域，尤其涉及一种数据质量检核方法、装置、设备及存储介质。

技术介绍

[0002]在大数据时代，数据已经成为企业最重要的资产之一，数据质量的好坏直接影响数据本身的价值或数据所能创造的价值。目前主流的数据质量检核操作复杂，在数据质量检核过程中需要进行大量的配置工作，当企业数据表量、字段量非常大时，如要实现对全库或全域数据质量检核，工作量浩大，因此业务人员无法完成所有表的质量规则配置，数据质量检核系统无法发挥出其功能，轮为数据治理平台的摆设。

技术实现思路

[0003]本申请提供了一种数据质量检核方法、装置、设备及存储介质，用以解决相关技术中存在的数据质量检核工作量大，效率低的问题。
[0004]第一方面，提供一种数据质量检核方法，包括：
[0005]从被检核数据库中提取目标元数据表；
[0006]从所述目标元数据表中提取目标属性元数据表，所述目标属性元数据表包括所述被检核数据库的各数据表内的元数据；
[0007]采用关键数据属性库与本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据质量检核方法，其特征在于，包括：从被检核数据库中提取目标元数据表；从所述目标元数据表中提取目标属性元数据表，所述目标属性元数据表包括所述被检核数据库的各数据表内的元数据；采用关键数据属性库与所述目标属性元数据表进行匹配，生成数据检核清单，所述关键数据属性库包括各数据库需要进行质量检核的元数据，所述关键数据属性库中的每个数据关联有关键数据属性检核规则；按照数据检核清单对所述被检核数据库进行质量检核。2.根据权利要求1所述的方法，其特征在于，采用关键数据属性库与所述目标属性元数据表进行匹配，生成数据检核清单之前，还包括：对于任一所述数据库，执行以下处理：从所述数据库中提取元数据表；从所述元数据表中提取属性元数据表，所述属性元数据表包括所述数据库的各数据表内的元数据；从所述属性元数据表中，获取关键数据属性表，并对所述关键数据属性表中的每个数据配置关键数据属性检核规则，所述关键数据属性表中的数据为所述数据库中需要质量检核的元数据。3.根据权利要求2所述的方法，其特征在于，所述关键数据属性表中的数据包括物理字段名和中文描述。4.根据权利要求1所述的方法，其特征在于，采用关键数据属性库与所述目标属性元数据表进行匹配，生成数据检核清单，包括：从所述目标属性元数据表中筛选同时存储于所述关键数据属性库的至少一个数据；基于所述至少一个数据，确定所述被检核数据库中需要检核的数据表；以及，获取所述至少一个数据中各所述数据所关联的关键数据属性检核规则；基于所述至少一个数据、所述需要检核的数据表、以及各所述元数据所关联的关键数据属性检核规则，生成所述数据检核清单。5.根据权利要求1所述的方法，其特征在于，所述检核清单包括N条检核数据，每条所述检核数据包括一个元数据的字段名；按照数据检核清单对所述被检核数据库进行质量检核，包括：调用质量检核规则引擎，轮询所述检核清单，生成与各条所述检核数据对应的检核作业，得到N个检核作业；并行执行所述N个检核作业。6.根据权利要求1所述...

【专利技术属性】
技术研发人员：张作滨，
申请(专利权)人：北京金山云网络技术有限公司，
类型：发明
国别省市：