基于深度学习实现数据平台下的数据质量分析方法及系统技术方案

技术编号:42033332 阅读:22 留言:0更新日期:2024-07-16 23:20
本发明专利技术涉及人工智能技术,揭露了一种基于深度学习实现数据平台下的数据质量分析方法,包括:对目标数据集进行初步数据质量检测,得到数据质量初步检测结果,对所述数据质量初步检测结果进行关键属性识别,得到数据质量初步检测特征,计算目标数据集中相邻数据之间的皮尔逊相关系数并进行关键信息萃取,得到皮尔逊相关系数特征,对所述皮尔逊相关系数特征以及所述数据质量初步检测特征进行张量特征融合,得到数据质量特征,利用预先训练的数据质量分析模型根据所述数据质量特征对目标数据集进行数据质量分析,得到数据质量系数。本发明专利技术还提出一种基于深度学习实现数据平台下的数据质量分析系统。本发明专利技术可以提高数据质量分析的效率。

【技术实现步骤摘要】

本专利技术涉及人工智能,尤其涉及一种基于深度学习实现数据平台下的数据质量分析方法及系统


技术介绍

1、在信息化和数字化快速发展的今天,数据已经成为企业、组织乃至整个社会运转的核心要素。数据平台作为数据收集、存储、处理和分析的重要载体,其数据质量直接关系到数据应用的效果和决策的准确性。

2、目前,数据质量分析方法主要包括基于规则的检查、统计分析和数据挖掘等方法。这些方法虽然在一定程度上能够提高数据质量,但难以适应复杂多变的数据环境,且往往需要大量的计算资源和时间成本,效率低下。


技术实现思路

1、本专利技术提供一种基于深度学习实现数据平台下的数据质量分析方法及系统,其主要目的在于解决现有的数据质量分析方法成本高、效率低的问题。

2、为实现上述目的,本专利技术提供的一种基于深度学习实现数据平台下的数据质量分析方法,包括:

3、获取数据平台下需要进行数据质量分析的目标数据集,对所述目标数据集进行初步数据质量检测,得到数据质量初步检测结果;

4、对所述数据质量初步检测本文档来自技高网...

【技术保护点】

1.一种基于深度学习实现数据平台下的数据质量分析方法,其特征在于,所述方法包括:

2.如权利要求1所述的基于深度学习实现数据平台下的数据质量分析方法,其特征在于,所述对所述目标数据集进行初步数据质量检测,得到数据质量初步检测结果,包括:

3.如权利要求2所述的基于深度学习实现数据平台下的数据质量分析方法,其特征在于,所述对所述目标数据集进行异常值检测,得到异常值检测结果,包括:

4.如权利要求1所述的基于深度学习实现数据平台下的数据质量分析方法,其特征在于,所述对所述数据质量初步检测结果进行关键属性识别,得到数据质量初步检测特征,包括:

5...

【技术特征摘要】

1.一种基于深度学习实现数据平台下的数据质量分析方法,其特征在于,所述方法包括:

2.如权利要求1所述的基于深度学习实现数据平台下的数据质量分析方法,其特征在于,所述对所述目标数据集进行初步数据质量检测,得到数据质量初步检测结果,包括:

3.如权利要求2所述的基于深度学习实现数据平台下的数据质量分析方法,其特征在于,所述对所述目标数据集进行异常值检测,得到异常值检测结果,包括:

4.如权利要求1所述的基于深度学习实现数据平台下的数据质量分析方法,其特征在于,所述对所述数据质量初步检测结果进行关键属性识别,得到数据质量初步检测特征,包括:

5.如权利要求1所述的基于深度学习实现数据平台下的数据质量分析方法,其特征在于,所述对所述皮尔逊相关系数数据集进行关键信息萃取,得到皮尔逊相关系数特征包括:

6.如权利要求1所述的基于深度学习实现数据平台下的数据质量分析方法,其特...

【专利技术属性】
技术研发人员:徐晓敏朱晓峰李江成朱正磊何小闯刘建戈刘鑫郭青玄张鹏宇李茂赵一夫
申请(专利权)人:国网江苏省电力有限公司淮安供电分公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1