数据质量评估方法、装置、设备、存储介质及产品制造方法及图纸

技术编号:42165497 阅读:12 留言:0更新日期:2024-07-27 00:13
本申请公开了一种数据质量评估方法、装置、设备、存储介质及计算机程序产品,涉及数据处理技术领域,公开的数据质量评估方法包括:基于待评估的数据集合建立数据质量评估体系,其中,数据质量评估体系包括数据集合对应的各指标类型;针对各指标类型中的每一目标指标类型,将数据集合中标签为目标指标类型的各数据点作为局部离群因子算法的输入,得到目标指标类型的阈值;在确定各数据点和阈值之间的大小关系满足预设条件后,将各数据点作为机器学习结合模糊评价算法的输入,得到目标指标类型的权重;基于数据集合和每一目标指标类型各自的权重计算数据集合的数据质量。本申请能够提高数据质量评估的准确性。

【技术实现步骤摘要】

本申请涉及数据处理,尤其涉及数据质量评估方法、装置、设备、存储介质及计算机程序产品。


技术介绍

1、随着大数据时代的到来,通信行业产生了海量的数据,包括通信业务数据、用户行为数据、网络设备数据等,这些数据的质量对通信大数据的应用效果具有直接影响,因此,对通信数据进行质量评估具有重要的现实意义和应用价值。

2、在数据质量评估中,阈值和权重是用于确定和衡量数据质量的关键评估参数,其中,阈值用于确定数据是否符合特定的标准或要求,权重用于指定不同数据质量维度的相对重要性。现有的数据质量评估中往往依赖于人工经验设置评估参数,然而,基于人工经验设置的评估参数往往缺乏灵活性和适应性,根据这类评估参数计算出的质量评估分值难以真实、及时的反映数据质量的实际变化,导致评估结果与实际情况存在较大的偏差,无法为数据使用者提供准确、可靠的数据质量状况信息。

3、综上,如何确定数据质量的评估参数以提高数据质量评估的准确性,俨然已成为本领域亟需解决的技术问题。


技术实现思路

1、本申请的主要目的在于提供一种数据质量本文档来自技高网...

【技术保护点】

1.一种数据质量评估方法,其特征在于,所述的方法包括:

2.如权利要求1所述的方法,其特征在于,所述针对各所述指标类型中的每一目标指标类型,将所述数据集合中标签为所述目标指标类型的各数据点作为局部离群因子算法的输入,得到所述目标指标类型的阈值的步骤包括:

3.如权利要求1所述的方法,其特征在于,所述针对各所述指标类型中的每一目标指标类型,将所述数据集合中标签为所述目标指标类型的各数据点作为局部离群因子算法的输入,得到所述目标指标类型的阈值的步骤之后包括:

4.如权利要求1所述的方法,其特征在于,所述机器学习结合模糊评价算法包括机器学习部分和模糊评价部分...

【技术特征摘要】

1.一种数据质量评估方法,其特征在于,所述的方法包括:

2.如权利要求1所述的方法,其特征在于,所述针对各所述指标类型中的每一目标指标类型,将所述数据集合中标签为所述目标指标类型的各数据点作为局部离群因子算法的输入,得到所述目标指标类型的阈值的步骤包括:

3.如权利要求1所述的方法,其特征在于,所述针对各所述指标类型中的每一目标指标类型,将所述数据集合中标签为所述目标指标类型的各数据点作为局部离群因子算法的输入,得到所述目标指标类型的阈值的步骤之后包括:

4.如权利要求1所述的方法,其特征在于,所述机器学习结合模糊评价算法包括机器学习部分和模糊评价部分;

5.如权利要求4所述的方法,其特征在于,所述通过所述机器学习部分计算所述目标指标类型的第一权重的步骤包括:

6.如权...

【专利技术属性】
技术研发人员:侯建龙张晗丁雪莲艾盟汪凯陈春旭陈卓王冀彬陶涛刘虹
申请(专利权)人:中移动信息技术有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1