【技术实现步骤摘要】
一种基于数据相关性的数据质量稽核系统及方法
[0001]本专利技术涉及通信
，特别涉及一种对通信数据质量进行评估的基于数据相关性的数据质量稽核系统及方法。
技术介绍
[0002]据统计，数据科学家和数据分析员每天有30％的时间浪费在了辨别数据是否是“坏数据”上，在数据质量不高的环境下，做数据分析可谓是战战兢兢。可见数据质量问题已经严重影响了组织业务的正常运营。通过科学的数据质量管理，持续地提升数据质量，已经成为组织内刻不容缓的优先任务。
[0003]当我们谈到数据质量的时候，我们必须要有一个数据质量评估的标准，有了这个标准，我们才能知道如何评估数据的质量，才能把数据质量量化，并知道改进方向，并且考核改进后的效果。目前业内认可的数据质量的标准有：
[0004]1)准确性:描述数据是否与其对应的客观实体的特征相一致。
[0005]2)完整性:描述数据是否存在缺失记录或缺失字段。
[0006]3)一致性:描述同一实体的同一属性的值在不同的系统是否一致
[0007]4)有效性:描述数据是...
【技术保护点】
【技术特征摘要】
1.一种基于数据相关性的数据质量稽核系统，用于对通信数据质量进行评估，其特征在于，包括：数据抽样模块；稽核规则模块；相关性分析模块；所述数据抽象模块用于对通信数据进行多维度抽样，获取抽样数据；所述稽核规则模块用于根据需求自定义稽核规则对所述抽样数据的指标进行稽核；所述相关性分析模块用于对所述抽样数据多个相关的指标进行相关性分析，判断相关性指数是否达到规定阈值。2.根据权利要求1所述的基于数据相关性的数据质量稽核系统，其特征在于，所述相关性分析模块包括：自定义单元；调校单元；所述自定义单元用于根据需求选择多个要进行相关性分析的指标；所述调校单元用于对多个要进行相关性分析的指标的参数进行配置。3.根据权利要求2所述的基于数据相关性的数据质量稽核系统，其特征在于，所述稽核系统还包括：注册模块；算法管理模块；所述注册模块用于将用户自定义的稽核规则注册到所述稽核系统中，用以进行再次数据质量稽核；所述算法管理模块用于将指标的相关性分析算法更新到算法库中。4.根据权利要求3所述的基于数据相关性的数据质量稽核系统，其特征在于，所述相关性分析模块还包括：关联单元；所述关联单元用于获取指标数据之间的关联指数。5.根据权利要求4所述的基于数据相关性的数据质量稽核系统，其特征在于，所述稽核系统还包括：评估模块；所述评估模块用于对稽核规则的实用性、版本进行管理。6.一种基于数据相关性的数据质量稽核方法，采用权利要求1
‑
...
【专利技术属性】
技术研发人员：江万成，何伟国，钟湘飞，
申请(专利权)人：北京红山信息科技研究院有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。