一种处理数据缺失的方法、系统、设备及介质技术方案

技术编号:43869742 阅读:27 留言:0更新日期:2024-12-31 18:55
本发明专利技术涉及数据处理技术领域,公开了一种处理数据缺失的方法、系统、设备及介质,包括根据预设策略选择能够测量所述待测物理量的若干诊断系统,获取所述故障系统和未故障系统针对所述待测物理量的历史诊断数据,将进行时序统一的所述未故障系统的历史诊断数据以及所述故障系统的历史诊断数据共同看作若干中间诊断数据,将若干所述中间诊断数据视为数据集并将所述数据集按照一定比例分成训练集、验证集和测试集,计初始学习模型,将所述训练集中所述故障系统对应的诊断数据作为所述初始学习模型的输出,所有未故障系统的诊断数据作为所述初始学习模型的输入。本发明专利技术的数据不全技术具有较好的准确性。

【技术实现步骤摘要】

本专利技术涉及数据处理,具体涉及一种处理数据缺失的方法、系统、设备及介质


技术介绍

1、在建设大数据平台过程中,当遇到关键数据缺失的情况,数据预处理阶段应采取适当的方法来处理这些缺失值,以确保后续分析、建模或决策支持的有效性和准确性。针对关键数据缺失的处理策略通常包括以下几个方面:

2、数据补全:

3、①均值填充:对于数值型特征,若缺失值较少,可以用该特征非缺失值的平均值来替换缺失值。但这种方法可能掩盖数据的真实分布,特别是当数据存在偏斜或存在极端值时。

4、②中位数填充:与均值填充类似,适用于数据分布偏斜的情况,使用该特征非缺失值的中位数替换缺失值。

5、③众数填充:对于分类变量,可使用出现频率最高的类别值来填充缺失值。

6、插值法:

7、①线性插值:适用于有序数据,在时间序列或其他连续尺度上,通过已知相邻数据点拟合直线,估计缺失值。

8、②多项式插值:对于趋势较为复杂的数据,可以使用高阶多项式进行插值。

9、③样条插值:在某些情况下,样条函数能提供更平滑的本文档来自技高网...

【技术保护点】

1.一种处理数据缺失的方法,其特征在于,包括:

2.根据权利要求1所述的一种处理数据缺失的方法,其特征在于,所述预设策略具体为:

3.根据权利要求1所述的一种处理数据缺失的方法,其特征在于,S2中,基于所述故障系统的采样频率对所述未故障系统的历史诊断数据进行时序统一的具体过程为:

4.根据权利要求1所述的一种处理数据缺失的方法,其特征在于,所述初始学习模型为机器学习模型。

5.根据权利要求1所述的一种处理数据缺失的方法,其特征在于,所述初始学习模型为深度学习模型。

6.根据权利要求3所述的一种处理数据缺失的方法,其特征在于,将所...

【技术特征摘要】

1.一种处理数据缺失的方法,其特征在于,包括:

2.根据权利要求1所述的一种处理数据缺失的方法,其特征在于,所述预设策略具体为:

3.根据权利要求1所述的一种处理数据缺失的方法,其特征在于,s2中,基于所述故障系统的采样频率对所述未故障系统的历史诊断数据进行时序统一的具体过程为:

4.根据权利要求1所述的一种处理数据缺失的方法,其特征在于,所述初始学习模型为机器学习模型。

5.根据权利要求1所述的一种处理数据缺失的方法,其特征在于,所述初始学习模型为深度学习模型。

6.根据权利要求3所述的一种处理数据缺失的方法,其特征在于,将所述未故障系统对应的历史诊断数据通过插值法进行补全时,补充的诊断数据的...

【专利技术属性】
技术研发人员:孙翔
申请(专利权)人:核工业西南物理研究院
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1