【技术实现步骤摘要】
一种数据质量检验的方法及装置
[0001]本专利技术公开一种方法及装置,涉及数据检验
,具体地说是一种数据质量检验的方法及装置。
技术介绍
[0002]伴随着互联网信息时代的发展,数据越来被互联网企业所重视。目前大部分互联网公司都会建设集团的数据仓库,上层数据产品的数据基本上来自数据仓库,而对数据仓库中的数据产品及数据进行检验十分必要。
[0003]目前现有的数据验证工具一般仅针对数据准确性验证,比较单薄,解决不了数据完整性、不合理性、不一致性、不及时性等问题的检验。使得数据在数据存储仓库数据应用层中不能很好地发挥作用。
技术实现思路
[0004]本专利技术针对现有技术的问题,提供一种数据质量检验的方法及装置,实现数据检验,提高数据质量。
[0005]本专利技术提出的具体方案是:
[0006]一种数据质量检验的方法,针对需要进行质量检验的数据,依次进行数据完整性检验,通过数据完整性检验验证数据信息缺失情况,判断数据缺失类型,并根据数据缺失类型对缺失数据进行反馈,直至数据完整性检验 ...
【技术保护点】
【技术特征摘要】
1.一种数据质量检验的方法,其特征是针对需要进行质量检验的数据,依次进行数据完整性检验,通过数据完整性检验验证数据信息缺失情况,判断数据缺失类型,并根据数据缺失类型对缺失数据进行反馈,直至数据完整性检验通过进入数据及时性检验,通过数据及时性检验验证数据更新频率是否符合相关业务运营更新周期,符合则进入数据准确性检验,否则反馈不符合的数据,直至数据及时性检验通过进入数据准确性检验,通过数据准确性检验根据判断条件验证数据是否符合准确性,符合则进入数据合理性检验,否则反馈不符合的数据,直至数据准确性检验通过进入数据合理性检验,通过数据合理性检验根据业务规则验证数据是否符合指标计算过程和计算数值,符合则进入数据一致性检验,否则反馈不符合的数据,直至数据合理性检验通过进入数据一致性检验,通过数据一致性检验验证各个分支数据与数据仓库是否数据一致,一致则进入数据唯一性检验,否则反馈不一致的数据,直至数据一致性检验通过进入数据唯一性检验,通过数据唯一性检验验证数据采集过程中是否去重,完成去重则进入数据安全性检验,否则反馈未去重的数据,直至数据唯一性检验通过进入数据安全性检验,通过数据安全性检验验证数据在传输过程中是否符合安全传输规定,符合则完成检验输出数据,否则反馈不符合的数据,直至数据安全性检验通过输出数据。2.根据权利要求1所述的一种数据质量检验的方法,其特征是所述通过数据完整性检验判断数据缺失类型,包括:根据采集的原始数据及数据加工处理过程中是否丢失表判断数据缺失类型是否为实体缺失;根据数据同步及数据加工处理过程中是否丢失某些表中的某个字段信息判断数据缺失类型是否为属性缺失;根据数据同步及数据加工处理过程中是否丢掉了部分表中的记录判断数据缺失类型是否为记录缺失;根据数据同步及数据加工处理过程中某个字段的部分值是否为空值判断数据缺失类型是否为字段缺失。3.根据权利要求1或2所述的一种数据质量检验的方法,其特征是所述通过数据及时性检验验证数据更新频率是否符合相关业务运营更新周期,包括:设定相关业务运营更新周期,根据所述相关业务运营更新周期验证数据更新频率是否符合业务及时性需求。4.根据权利要求1所述的一种数据质量检验的方法,其特征是所述通过数据准确性检验根据判断条件验证数据是否符合准确性,包括:验证数据格式,验证数据类型,验证数据值域。5.根据权利要求1或4所述的一种数据质量检验的方法,其特征是所述通过数据合理性检验根据业务规则验证数据是否符合指标计算过程和计算数值,包括:根据预设的业务规则在指标计算过程中判断指标统一口径和计算公式的对错。6.根据权利要求1所述的一种数据质量检验的方法,其特征是所述通过数据唯一性检验验证数...
【专利技术属性】
技术研发人员:庞文莉,单震,
申请(专利权)人:浪潮卓数大数据产业发展有限公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。