一种工业设备数据的重要性评估方法技术

技术编号:20025628 阅读:22 留言:0更新日期:2019-01-06 04:30
本发明专利技术技术方案公开了一种工业设备数据的重要性评估方法,其步骤如下:S1:收集工业设备样本数据集,记录样本数据集的基本情况,并对该数据集的质量评估指标的重要性进行打分,形成样本打分数据评分表;S2:建立基于样本数据的虚拟打分模型;S3:根据虚拟打分模型对待评估数据集进行打分;S4:基于打分结果并结合数据质量评估模型,得到待评估数据集的数据质量评估得分。本发明专利技术技术方案实现了工业设备数据重要性的实时评估,避免了需要邀请实体专家的情况,降低了人力成本,评估结果准确可靠。

【技术实现步骤摘要】
一种工业设备数据的重要性评估方法
本专利技术涉及工业设备数据处理
,尤其涉及一种工业设备数据的重要性评估方法。
技术介绍
在现代社会,数据是工业企业走向信息化的必要基础,然而随着企业设备的不断老化、传感器失效、传输网络的不稳定性等情况的发生,数据质量问题变得日益突出。在对数据质量情况进行评估时,会涉及到多种数据质量评估指标,比如完整性、准确性、一致性、可靠性等,每种指标对数据质量情况都有一定的影响,影响有大有小,想要得到数据质量情况的准确评估结果,首先需要准确的衡量不同指标的重要性对最终数据质量评估结果的影响情况,并将此影响情况以定量化的形式进行表示。目前对指标重要性的评价,主要依靠邀请行业经验丰富的专家,专家的经验知识对不同指标的重要性进行打分,以此得到各指标的重要性量化结果。通过实体专家基于专家经验进行打分的方式虽然是一种有效的评分方式,但是在数据质量评估过程中,仅靠实体专家基于经验进行指标重要性打分具有较大风险。这种方式的主要缺点有:人力成本投入巨大、经验依赖性强、处理滞后。
技术实现思路
本专利技术技术方案所要解决的技术问题是提供一种工业设备数据的重要性评估方法,该方法可以在不邀请实体专家的情况下,实时对待评估数据的重要性进行评估。为解决上述技术问题,本专利技术技术方案提供了一种工业设备数据的重要性评估方法,包括如下步骤:S1:收集工业设备样本数据集,对该数据集的质量评估指标的重要性进行打分,形成样本打分数据评分表;S2:建立基于样本数据的虚拟打分模型;S3:根据虚拟打分模型对待评估数据集进行打分;S4:基于打分结果并结合数据质量评估模型,得到待评估数据集的数据质量评估得分。可选的,步骤S1具体为:收集若干组不同的样本数据集,记录样本数据集的类型、大小、数据变量个数、数据分析目的,选取若干名专家针对若干组样本数据集的质量评估指标的重要性分别进行打分,形成样本打分数据评分表。进一步可选的,所述质量评估指标包括准确性、完整性、可靠性及冗余性中的至少一种。进一步可选的,步骤S2具体为:建立样本数据集与相应样本打分数据之间的若干非线性映射模型,即为若干基于样本数据的虚拟打分模型。进一步可选的,采用神经网络、支持向量机、随机森林中的至少一种模型进行建模。可选的,步骤S3具体为:通过若干基于样本数据的虚拟打分模型对待评估数据集进行打分,得到若干打分结果。可选的,在步骤S4中,所述数据质量评估模型如下:其中,其中,S表示数据集的数据质量评估得分;N表示虚拟打分模型的个数;Rij表示第i个专家对第j个评估指标的打分;wi为第i个专家的权重系数;Si为第i个虚拟打分模型的打分结果得到的数据质量评估得分;B2和B1为设定参数。可选的,还包括步骤S5:重复步骤S3和步骤S4若干次,获得若干组数据质量评估得分,并对每个得分的权重进行迭代调整。进一步可选的,迭代过程具体为:计算Si与Sj之间的相关系数,若相关系数达到预设值,将对第i个虚拟打分模型的打分结果进行增权Δω,相关系数的计算公式如下:其中,Sj为真实得分;Var(Si)为Si的方差;Var(Sj)为Sj的方差;Cov(Si,Sj)为Si与Sj的协方差。进一步可选的,Δω∈[1‰,1%]。可选的,上述待评估数据集为风力发电场数据采集与监视控制系统数据中的数据变量。进一步可选的,所述变量包括风机号、风机有功功率、无功功率、电压、电流、功率因数、瞬时风速、风轮转速、温度、发电量、发电机转速、桨距角中的至少一种。与现有技术相比,本专利技术实现了工业设备数据重要性的实时评估,通过虚拟打分模型的建立,避免了需要邀请实体专家的情况,降低了人力成本;基于专家样本打分数据评分表训练的虚拟打分模型,能够实时有效的计算专家打分结果,并且具有自我迭代调整打分权重的功能,使打分结果更加准确可靠;全天待命、全年无休、实时完成打分任务。附图说明图1为本专利技术实施例1的工业设备数据的重要性评估方法的流程示意图。具体实施方式实施例1如图1所示,本专利技术实施例的工业设备数据的重要性评估方法,其步骤如下:S1:收集工业设备样本数据集,对该数据集的质量评估指标的重要性进行打分,形成样本打分数据评分表;S2:建立基于样本数据的虚拟打分模型;S3:根据虚拟打分模型对待评估数据集进行打分;S4:基于打分结果并结合数据质量评估模型,得到待评估数据集的数据质量评估得分;S5:重复步骤S3和步骤S4若干次,获得若干组数据质量评估得分,对每个得分的权重进行迭代调整。在本实施例中,步骤S1具体按如下方式操作:首先进行样本数据的初步筛选,收集若干组不同的样本数据集,记录样本数据集的类型、大小、数据变量个数、数据分析目的,选取100名数据挖掘领域内经验丰富的专家,对收集的样本数据集的数据质量评估指标的重要性分别进行打分,形成样本打分数据评分表。专家的人数建议大于十名,以保证后续模型的准确度,在此对人数不作限制,根据实际情况进行确定。其中质量评估指标包括但不限于准确率、完整率、可靠率及不冗余率,在其他实施例中也可选择性的加入回归性、分类性、聚类性等指标。步骤S2具体为:输入样本数据集,基于步骤S1形成的样本打分数据评分表对样本数据集进行打分并输出样本数据集的打分结果,其实际包括了100组打分结果,再通过神经网络模型建立输入数据与输出数据之间的100个非线性映射模型,即本实施例的神经网络建立模型的过程如下:首先对神经网络模型进行参数初始化,初始化模型的权值和偏置值,然后将样本数据集输入模型,计算出初步的输出结果,将此输出结果分别与100组打分结果分别进行对比,计算两者间的均方根误差,基于此误差的大小对模型初始参数进行调优,最终使得误差达到设定值,之后对调节好的模型参数进行固定,这样就形成了100个基于样本数据的虚拟打分模型。当然在其他实施例中,可不用神经网络建立模型,通过支持向量机、随机森林等模型建立样本数据集与相应样本打分数据之间的100个非线性映射模型。收集到新的数据质量评估任务,进行步骤S3,通过上述建立好的基于样本数据的虚拟打分模型进行后台计算,每个虚拟打分模型均会对数据进行打分,所以计算结束同时得到100个打分结果。系统获得虚拟打分模型的打分结果后,进行步骤S4,结合数据质量评估模型,最终得到该数据集的数据质量评估得分,数据质量评估模型如下:其中,其中,S表示数据集的数据质量评估得分;N表示虚拟打分模型的个数;Rij表示第i个专家对第j个评估指标的打分;wi为第i个专家的权重系数;Si为第i个虚拟打分模型的打分结果得到的数据质量评估得分;B2和B1为设定参数。在本实施例中,数据质量评估指标包括准确性、完整性、可靠性及冗余性,首先设定待评估的数据集为m×n的矩阵,其中m为数据条数,n为变量个数,数据的总个数为r。准确率R1对应于准确性指标,包含异常率和不合规率,其计算公式如下:其中,a1表示数据异常率,a2表示数据不合格率,ho表示数据集中的异常数据个数,hc表示数据集中的不合规数据个数,r表示数据集中的数据总个数,p表示所使用的指标个数。完整率R2对应于完整性指标,包含缺失值率、缺失变量率以及缺失时间戳率,其计算方法如下:其中,b1表示缺失值率,b2表示缺失变量率,b3表示缺失时间戳率,hm表示数据集中的缺失数据个数本文档来自技高网...

【技术保护点】
1.一种工业设备数据的重要性评估方法,其特征在于,包括如下步骤:S1:收集工业设备样本数据集,记录样本数据集的基本情况,并对该数据集的质量评估指标的重要性进行打分,形成样本打分数据评分表;S2:建立基于样本数据的虚拟打分模型;S3:根据虚拟打分模型对待评估数据集进行打分;S4:基于打分结果并结合数据质量评估模型,得到待评估数据集的数据质量评估得分。

【技术特征摘要】
1.一种工业设备数据的重要性评估方法,其特征在于,包括如下步骤:S1:收集工业设备样本数据集,记录样本数据集的基本情况,并对该数据集的质量评估指标的重要性进行打分,形成样本打分数据评分表;S2:建立基于样本数据的虚拟打分模型;S3:根据虚拟打分模型对待评估数据集进行打分;S4:基于打分结果并结合数据质量评估模型,得到待评估数据集的数据质量评估得分。2.如权利要求1所述的工业设备数据的重要性评估方法,其特征在于,步骤S1具体为:收集若干组不同的样本数据集,记录样本数据集的类型、大小、数据变量个数、数据分析目的,选取若干名专家针对若干组样本数据集的质量评估指标的重要性进行打分。3.如权利要求2所述的工业设备数据的重要性评估方法,其特征在于,所述质量评估指标包括准确性、完整性、可靠性及冗余性中的至少一种。4.如权利要求2所述的工业设备数据的重要性评估方法,其特征在于,步骤S2具体为:建立样本数据集与相应样本打分数据之间的若干非线性映射模型,即为若干基于样本数据的虚拟打分模型。5.如权利要求4所述的工业设备数据的重要性评估方法,其特征在于,采用神经网络、支持向量机、随机森林中的至少一种模型进行建模。6.如权利要求4所述的工业设备数据的重要性评估方法...

【专利技术属性】
技术研发人员:董亚明许伟杨家荣
申请(专利权)人:上海电气集团股份有限公司
类型:发明
国别省市:上海,31

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1