一种电力企业生产实时数据质量优化方法技术

本发明专利技术公开了一种电力企业生产实时数据质量优化方法，包括对电力企业的生产数据进行分类和分级，构建用于评估生产数据质量的基本数据质量模型，分别采集自动采集数据、手工填报数据的历史数据和实时数据，基于基本数据质量模型对所采集的生产数据进行清洗、筛选、相关性分析，构建数据调优模型对生产数据进行质量优化和验证；该方法实现对电力企业重要的现场自动采集的数据进行在线数据质量监控、分析和优化，提升电力企业核心数据质量，保障企业的正常开展生产运营管理的有效性。的正常开展生产运营管理的有效性。的正常开展生产运营管理的有效性。

【技术实现步骤摘要】
一种电力企业生产实时数据质量优化方法


[0001]本专利技术涉及在线数据质量监控领域，具体涉及一种电力企业生产实时数据质量优化方法
。

技术介绍

[0002]当前电力企业生产运营过程实时数据主要通过生产现场各类传感器自动采集获取，并进一步通过各类数据采集仪
、
现场各类自动化控制系统
(
如
DCS)
以及信息填报模块等接入企业各类信息化系统和大数据平台
。
随着时间的不断推移，现场各类传感器和各类自动化
/
信息化系统可能会出现设备老化或故障
、
设备精度不足
、
可靠性下降的情况，导致数据出现一定程度的偏差
、
失真
、
不稳定甚至漏采
、
大幅度漂移等数据质量问题，将严重影响和干扰企业生产运营过程管控的有效性和准确性
。
因此，需要通过对电力企业生产实时数据的数据质量进行持续的自动在线监控
、
分析和计算优化，推动企业运营管理人员及时处理数据异常问题，不断改善和提升数据质量，提高企业生产运营过程管控的准确性和可靠性
。
[0003]现有的实时数据质量监视的方法，通常通过对采集的电力企业实时数据自动判定其数据质量，对异常数据质量数据进行告警提醒督促相关人员进行修正；现有的方法只考虑了对数据及时性
(
刷新不及时
)
和有限准确性
(
常规正常数值区间判定
)
进行数据质量判定，只能适用于稳定工况情况下的数据质量核查，对于变工况复杂条件下的数据质量判定准确性不高
。
[0004]本专利技术所设计的方法采用基本数据质量模型判定和基于神经网络进行建模和数据调优结合的方式，从数据质量完整性
、
规范性
、
及时性和准确性四个方面通过分步实现全面监测和优化实时数据质量，做到数据质量改善过程有重点
、
无死角全覆盖
。
其既能对一般数据做基础性质量分析判定，也能更高一级的对核心重要相关性数据进行计算调优，可更加准确细致的判断和改善数据质量
。

技术实现思路

[0005]本专利技术目的：本专利技术设计了一种电力企业生产实时数据质量优化方法，其包括基础准备
(
含数据分类分级和基本数据质量模型设计
)、
数据采集
、
数据筛选清洗
(
含历史数据筛选清洗和目标数据基本数据质量判定和数据标记
)、
数据相关性分析
、
基于历史数据的修正自学习神经网络
(Modified Input neural network
，
MINN)
数据调优模型构建
/
验证
、
基于
MINN
模型的数据调优
、
结果校验和数据修正等过程，从基本数据质量模型判定
、
基于机器学习模型数据调优和人工判定修正三个方向协同推进实现对电力企业生产实时数据的质量改善，全面提升核心生产实时数据的可靠性和可信度，实现数据质量的全面提升
。
[0006]本专利技术所设计的一种电力企业生产实时数据质量优化方法，执行如下步骤
S1
‑
步骤
S8
，完成针对电力企业生产数据的校验和质量优化：
[0007]步骤
S1
：针对电力企业各种类的生产数据，分别进行分类和分级，其中分类包括将
各种类的生产数据分为自动采集数据
、
手工填报数据，分级包括根据各种类的生产数据的影响范围
、
直接引用次数
、
重要性系数，对各种类的生产数据进行重要性分级；
[0008]步骤
S2
：构建用于评估生产数据质量的基本数据质量模型，基本数据质量模型定义各种类的生产数据的完整性得分
、
规范性得分
、
及时性得分
、
准确性得分，并根据四种得分，分别计算各种类的生产数据的数据质量总得分；
[0009]步骤
S3
：根据各种类的生产数据的重要性分级，分别采集预设级别的自动采集数据
、
手工填报数据的历史数据和实时数据，并将历史数据存入实时数据库临时历史数据表，将实时数据存入实时数据库；
[0010]步骤
S4
：对历史数据进行清洗和筛选，根据基本数据质量模型对实时数据进行质量判定，根据基本数据质量模型的计算结果判定实时数据为异常数据或正常数据，将异常数据记入基本数据质量异常数据明细表；
[0011]针对经过清洗和筛选的历史数据，以及判定为正常数据的实时数据，进行时标对齐操作；
[0012]步骤
S5
：分别针对步骤
S4
所获得的历史数据和实时数据，采用主成分分析法，进行相关性分析，剔除与其他生产数据均无相关性的生产数据；
[0013]步骤
S6
：构建基于修正自学习神经网络的数据调优模型，以步骤
S4
所获得的历史数据为输入训练样本，对训练样本进行修正，以训练样本的目标值和调整量为输出，对数据调优模型进行迭代训练，获得训练好的数据调优模型；
[0014]步骤
S7
：以步骤
S4
所获得的实时数据输入训练好的数据调优模型，基于数据调优模型对实时数据进行调优，以数据调优模型的输出作为调优数据，并判定各调优数据的质量；
[0015]步骤
S8
：完成一批次调优数据的计算和质量判定后，计算所有生产数据的调优数据与原始采集数据的相对误差百分比，并降序排列和记录，完成针对电力企业生产数据的校验和质量优化
。
[0016]有益效果：针对当前诸多电力企业由于各类数据采集传输设备及系统老化等原因导致实时数据质量下降的问题，目前各类电力企业一般采用基于简单规则判定的方式对数据质量进行排查修正，例如基于简单阈值范围规则判定数据准确性，基于某些特殊规范判定特定数据的有效性等，其适用范围有限
、
准确性不高，无法满足对海量实时数据高效开展数据质量核查和优化的需求
。
[0017]本专利技术设计了一种电力企业生产实时数据质量优化方法，通过数据分级
、
构建基本数据质量规则模型和基于修正自学习神经网络的数据调优模型，从数据质量完整性
、
规范性
、
及时性和准确性四个方面通过分步实现全面监测和优化实时数据质量，实现对重要生产实时数据的数据质量核验和数据在线修正，根据结果提醒运营管理人员定位和分析问题数据以及其可能的原因，并通过合适的方法处理数据异常问题，从而实现数据质量的全面提升，保障本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种电力企业生产实时数据质量优化方法，其特征在于，执行如下步骤
S1
‑
步骤
S8
，完成针对电力企业生产数据的校验和质量优化：步骤
S1
：针对电力企业各种类的生产数据，分别进行分类和分级，其中分类包括将各种类的生产数据分为自动采集数据
、
手工填报数据，分级包括根据各种类的生产数据的影响范围
、
直接引用次数
、
重要性系数，对各种类的生产数据进行重要性分级；步骤
S2
：构建用于评估生产数据质量的基本数据质量模型，基本数据质量模型定义各种类的生产数据的完整性得分
、
规范性得分
、
及时性得分
、
准确性得分，并根据四种得分，分别计算各种类的生产数据的数据质量总得分；步骤
S3
：根据各种类的生产数据的重要性分级，分别采集预设级别的自动采集数据
、
手工填报数据的历史数据和实时数据，并将历史数据存入实时数据库临时历史数据表，将实时数据存入实时数据库；步骤
S4
：对历史数据进行清洗和筛选，根据基本数据质量模型对实时数据进行质量判定，根据基本数据质量模型的计算结果判定实时数据为异常数据或正常数据，将异常数据记入基本数据质量异常数据明细表；针对经过清洗和筛选的历史数据，以及判定为正常数据的实时数据，进行时标对齐操作；步骤
S5
：分别针对步骤
S4
所获得的历史数据和实时数据，采用主成分分析法，进行相关性分析，剔除与其他生产数据均无相关性的生产数据；步骤
S6
：构建基于修正自学习神经网络的数据调优模型，以步骤
S4
所获得的历史数据为输入训练样本，对训练样本进行修正，以训练样本的目标值和调整量为输出，对数据调优模型进行迭代训练，获得训练好的数据调优模型；步骤
S7
：以步骤
S4
所获得的实时数据输入训练好的数据调优模型，基于数据调优模型对实时数据进行调优，以数据调优模型的输出作为调优数据，并判定各调优数据的质量；步骤
S8
：完成一批次调优数据的计算和质量判定后，计算所有生产数据的调优数据与原始采集数据的相对误差百分比，并降序排列和记录，完成针对电力企业生产数据的校验和质量优化
。2.
根据权利要求1所述的一种电力企业生产实时数据质量优化方法，其特征在于，步骤
S1
中对各种类的生产数据进行重要性分级的方法如下：定义用于表征各种类的生产数据重要性级别的级别指数
S
如下式：
S
＝
k1*N
all
+k2*N
y
+k3*
α
式中，
N
all
表示生产数据的影响范围，
N
y
表示直接引用次数，
α
表示重要性系数，
k1、k2、k3分别为生产数据的影响范围
、
直接引用次数
、
重要性系数的影响因子；基于生产数据的指标分类
、
自然属性
、
管理属性三方面，确定生产数据之间的直接影响和间接影响关系，计算生产数据的影响范围
N
all
和直接引用次数
N
y
，具体如下式：
N
aH
＝
N
zj
+N
jj
N
y
＝
N
jj
式中，
N
zj
表示生产数据的直接影响数据个数，
N
jj
表示生产数据的间接影响数据个数；分别对自动采集数据
、
手工填报数据两种类型的生产数据，对各种类的生产数据按级别指数
S
由大至小降序排列，获得自动采集数据序列
{S1
i
,i
＝
1,2,
…
,m}
和手工填报数据
{S2
i
,i
＝
1,2,
…
,n}
，其中
m
为自动采集数据序列中生产数据的种类数量，
n
为手工填报数据序列中生产数据的种类数量；各自将其进行三等分分割后得到每一等分子序列
{S1
j1
}、{S1
j2
}、{S1
j3
}
和
{S2
j1
}、{S2
j2

【专利技术属性】
技术研发人员：李欢欢，曹光，崔钰杰，
申请(专利权)人：光大环保技术研究院南京有限公司光大环保技术研究院深圳有限公司，
类型：发明
国别省市：