高精度的高炉冶炼过程异常数据检测及修补方法技术

本发明专利技术提供了一种高精度的高炉冶炼过程异常数据检测及修补方法。该方法首先通过全局统计获取相关指标，进而发现可能出现问题的数据的时间点，然后在相关时间点上具体分析数据的斜率变化情况，最终通过局部与全局的两种统计与分析对比达到对异常数据的准确认识。本发明专利技术针对高炉数据采用自回归时间序列模型对问题数据进行修补，在模型参数估计上选用收敛速度较快的广义多新息最小二乘算法，给出了样本数据长度、多新息量及模型阶次的选择方法。该发明专利技术解决了常规检测方法在高炉过程数据异常值检测时存在的误检，以及均值插补法在对高炉炉温异常数据修补时存在的精度低的问题。本发明专利技术还可应用于其他过程数据测检测及修补。

【技术实现步骤摘要】
高精度的高炉冶炼过程异常数据检测及修补方法
本专利技术涉及一种高精度的过程记录数据的异常值检测和修补方法，涉及高炉冶炼生产记录数据中的异常值(“缺失值”是异常值的一个特殊情况，故本说明书将“缺失值”也做异常值处理)的检测及修补，同也可用于生物医学，通信，交通，勘探，造纸，化工，冶金等复杂工业过程，航空航天等多种领域的数据异常值的检测及修补。
技术介绍
过程数据是系统建模、控制及优化的核心依据，受人为因素、环境及不可抗拒的突发事件等因素影响，过程记录数据存在数据缺失、异常现象。过程数据中异常值的检测及修补，是基于数据驱动的建模、优化及控制的前提，是一类广泛存在于各种工业过程中的普遍性问题。在复杂生产过程智能建模、控制与优化研究领域，针对过程数据中存在的异常值检测及修补问题，常用的方法为3σ检测和均值插补方法(桂卫华，阳春华.复杂有色冶金生产过程智能建模、控制与优化[M].科学出版社，2010:80；李静.基于数据挖掘的高炉铁水温度建模与预报[D].内蒙古科技大学硕士学位论文，2013)。在信息和数据时代，高炉数据的完备性及准确性对于高炉操作的影响是至关重要的，因此，要保障炉况稳定顺行，降低能耗，首先需要做的就是准确的分析和处理高炉数据。常规的检测方法易把重要的或者关键的数据误检甚至误剔除，如高炉在停炉、休风、检修、及开炉时，炉况波动较大，数据变化也大，常规的检测法易将反应高炉暂态变化的关键数据误剔除。常用的增长量推算法、发展速度推算法、平滑法和差值估算法等数据插补方法，对于单点数据的缺失有一定的估算效果，但对于连续数据的缺失，其修补精度往往无法满足建模、优化及控制的需要。自回归时间序列模型是建模时常用的一种方法，在数据修补上受参数训练等约束条件限制鲜有应用，考虑到自回归模型的简单、便捷及运算量小的特点，本专利技术专利在突破部分约束条件限制的情况下应用自回归时间序列模型对异常数据进行修补。在复杂的高炉炼铁过程中，过程采集并记录的数据成千上万，其中炉温是最重要的一类数据，也是最具有代表性的一类数据。因此，本专利技术以高炉炉温为数据主要研究对象，针对常规异常数据的检测及修补方法存在的漏检或误检，修补精度低等问题，提出一种高精度的高炉冶炼过程异常数据检测及修补方法。本专利技术的提出对于高炉操作，高炉建模、优化及控制，以及更大限度的实现高炉冶炼过程的节能、减排以及性能指标优化具有十分重要的意义。
技术实现思路
本专利技术的目的是：针对3σ检测方法在高炉过程数据异常值检测时存在的误检，以及均值插补法在对高炉炉温异常数据修补时存在的精度低的问题，提出一种采用全局与局部相结合的异常数据检测新方法和基于自回归时间序列模型的数据修补新方法。为了实现上述目的，本专利技术通过采用全局与局部相统一的思想对3σ检测方法进行改进；在异常数据修补时，采用自回归时间序列模型对异常数据修补，同时考虑到自回归模型在参数训练时存在完备数据稀少的可能性，本专利技术采用广义最小二乘方法对模型参数训练。(1)3σ异常值检测新方法：对于表征高炉炉温的变量，铁水温度[Thm]、铁水硅含量[Si]、铁水硫含量[S]、铁水钛含量[Ti]等高炉过程采样数据。以k表征高炉出铁铁次，L表征采集数据的长度，则样本数据{y(1)，y(2)，…y(k)，…y(L)}为表征炉温([Thm]、[Si]、[S]、[Ti]等)的时间序列。记μ为样本均值：σ2为样本偏差，3σ异常值检测的常规方法对于y(k)值不在μ±3σ区间内的即认为其为异常值，可找到其异常值位置并对其进行剔除。由于高炉在停炉，休风，检修及开炉时，炉况波动较大，数据变化也大，3σ异常值检测的常规方法会对正常数据造成误剔除。如表1，采用3σ异常值检测的常规方法会造成正常的853，854以及855批铁次所对应的铁水温度数据被误剔除。表1正常的铁水温度数据针对3σ异常值检测的常规方法对于高炉这种高度复杂过程的不合理性，结合高炉冶炼过程的大惯性和慢时变的特点，引入一种斜率变化与常规3σ准则相互结合来判断炉温超出μ±3σ范围是否由异常值引起的方法。异常值前后时间序列的斜率会发生突变，而正常值的斜率不会突变，或者仅有一方的斜率发生渐变。本专利技术先用粗尺度对整体数据共性进行认识，计算L组数据的均值μ及偏差σ，并记录可能得异常数据所对应的不同铁次xi，然后在不同的铁次xi附近再细尺度讨论数据斜率的变化特点，最终通过粗细两种尺度对比达到对异常数据的准确认识。(2)自回归时间序列模型数据修补原理如下：对于高炉炉温的过程采样异常数据，以xi表征异常铁次，v(xi)为随机白噪声时间序列，则异常数据y(xi)值可由异常数据的前几个时刻数据并依据自回归时间序列模型修复：y(xi)＝a1y(xi-1)+a2y(xi-2)+v(xi)，考虑高炉数据特点，此处y(xi)值可由异常数据的前两个时刻数据并依据二阶自回归模型修复，其中ai(i＝1，2)为模型参数，由铁次xi前的正常高炉炉温样本数据{y(1)，y(2)，…y(xi-1)}训练可得。本专利技术适用于高炉冶炼过程异常数据的检测与数据修补，同时本专利的思想可用于存在异常数据的生物医学，通信，勘探，化工过程，航空航天等多种领域的异常数据的检测与修补。附图说明：图1为针对表1中正常的铁水温度的记录数据，用本专利方法和常规3σ异常值检测法的对比图；图2为针对表2的异常数据的检测及修补图；图3为针对表3中存在人为干预下连续缺失值修补的对比图。具体实施方式：下面通过具体的实施对本专利技术的技术方案做进一步的描述。具体步骤为：1、检测L组高炉现场采集的样本数据{y(1)，y(2)，…y(k)，…y(L)}存在的缺失值数目m，缺失值所对应的铁次xi，并记录由缺失值对应铁次所构成的向量M＝[x1x2…xm]T。2、计算样本均值及偏差(缺失的数据不参与计算)，样本均值：样本偏差：3、3σ法则对数据{y(1)，y(2)，…y(k)，…y(L)}全局检测，记录数据值在μ±3σ界外的铁次xi,xi即为可能出现异常数据的铁次；然后在xi时刻作局部分析，分别计算|y(xi)-y(xi-1)|与|y(xi+1)-y(xi)|的数值，如果上述差值均大于3σ，但是|y(xi+2)-y(xi+1)|与|y(xi+3)-y(xi+2)|时刻的斜率发生渐变，则铁次xi的记录数值y(xi)仍为正常值，否则，铁次xi的记录数值y(xi)确定为异常值；如果其中一个差值在2σ范围内，则铁次xi的记录数值y(xi)仍为正常值。4、以异常铁次xi前的Lx组数据{y(xi-Lx)，y(xi-Lx-1)，…y(xi-2)，y(xi-1)}为训练样本。考虑到两高炉异常铁次可能出现的间隔，同时综合考虑计算量、参数估计和修补效果，本专利技术给出了模型训练数据长度Lx选择范围为50至300间的整数。在两异常铁次间的间隔允许的情况下，如果想取得更好的参数估计和修补效，则数组长度Lx应尽可能大。5、由于模型训练数据长度Lx有可能接近50，因此本专利技术对自回归时间序列模型的参数用广义多新息递推最小二乘算法估计系统参数a1，a2:P-1(k)＝P-1(K-1)+Φ(K)ΦT(k)，Y(k)＝[y(k)y(k-1)y(k-2)]T，其中为θ(k)参数向量(初始值为:)；为信息向量；P(0)＝10°本文档来自技高网...

【技术保护点】
一种高炉冶炼生产记录数据中异常值的检测及修补方法，其特征在于，所述方法包括以下两个步骤，1)通过对样本离线数据整体统计均值及方差，用常规检测方法发现可能出现问题数据的时间点，然后在具体时间点上局部分析数据的斜率变化，最终通过整体与局部两种统计与分析对比准确确定异常数据；2)采用自回归时间序列模型对问题数据进行修补，并用广义多新息最小二乘方法训练模型参数。

【技术特征摘要】
1.一种高炉冶炼生产记录数据中异常值的检测及修补方法，其特征在于，所述方法包括以下两个步骤，1)通过对样本离线数据整体统计均值及方差，用常规检测方法发现可能出现问题数据的时间点，然后在具体时间点上局部分析数据的斜率变化，最终通过整体与局部两种统计与分析对比准确确定异常数据；该步骤具体为：针对高炉过程离线采集数据{y(1)，y(2)，…y(k)，…y(L)}的整体与局部统计分析相结合的异常值检测方法，其中k表征高炉出铁铁次，L表征采集数据的长度，具体为：首先，针对所采集的整体过程数据统计均值μ和方差σ2，并记录数据值在μ±3σ界外的铁次xi，xi为疑似出现异常值的时刻；然后在xi时刻作局部分析，分别计算|y(xi)-y(xi-1)|与|y(xi+1)-y(xi)|的数值并记为局部差值，如果上述差值均大于3σ，并且y(xi+2)与y(xi-2)均在μ±3σ界内，则铁次xi的记录数值y(xi)确定为异常值；如果上述差值一方大于3σ，但是|y(xi+2)-y(xi+1)|与|y(xi+3)-y(xi+2)|时刻的斜率发生渐变，则铁次xi的记录数值y(xi)仍为正常值，否则，铁次xi的记录数值y(xi)确定为异常值；记μ为样本均值：σ为样本偏差，3σ异常值检测的常规方法对于y(k)值不在μ±3σ区间内的即认为其为异常值，可找到其异常值位置并对其进行剔除；2)采用自回归时间序列模...

【专利技术属性】
技术研发人员：张勇，兰孝文，刘丕亮，崔桂梅，
申请(专利权)人：内蒙古科技大学，
类型：发明
国别省市：内蒙古;15