一种水情监测数据的实时异常诊断与插补方法技术

本发明专利技术公开了一种水情监测数据的实时异常诊断与插补方法，涉及水情监测技术领域，该方法包括以下步骤：获取水情监测数据，绘制箱型图，基于箱型图实时识别诊断异常数据；对预测变量相关的其他变量进行灰色关联分析；构建BP神经网络模型并训练，应用BP神经网络模型对水情监测数据进行实时预测，并进行异常诊断及数据插补，采用该方法可以有效提高水情监测数据的实时预测和监测，对于异常数据能够及时诊断、插补，从而可以提高数据的可靠性、客观反映水情变化、有效指导工程调度。

A real-time anomaly diagnosis and interpolation method for water regime monitoring data

【技术实现步骤摘要】
一种水情监测数据的实时异常诊断与插补方法
本专利技术涉及水情监测
，尤其涉及一种水情监测数据的实时异常诊断与插补方法。
技术介绍
随着各类监测设备在水利行业的广泛应用，已建成的明渠调水工程均形成了覆盖水位、流量、流速等水情要素的全方位监测体系。然而，受设备故障、传输中断、人为扰动、环境变化等多种因素影响，监测数据中容易产生异常值(包括未监测的缺失值)。该问题直接导致监测数据质量下降，进而影响调度决策。因此，及时识别异常数据并采用合理数据填补纠正，对提高数据的可靠性、客观反映水情变化、有效指导工程调度具有重要的应用价值和科学意义。利用规则诊断异常数据的方法往往会包含较大的主观因素，存在诊断标准不统一的问题。传统的拉格朗日插值、牛顿插值等数值方法更适用于数据的内插，对缺失值(未监测的缺失值和被剔除的异常值)前后时段数据的完整性要求很高，应用于监测数据的实时插补会受到较大限制。因此，快速有效地识别异常数据，并利用合理数据实时插补，是明渠调水工程水情监测有待解决的的关键问题。因此，亟待找到一种水位预测与控制的方法以解决上述技术问题。
技术实现思路
本专利技术的目的在于提供一种水情监测数据的实时异常诊断与插补方法，从而解决现有技术中存在的前述问题。为了实现上述目的，本专利技术采用的技术方案如下：一种水情监测数据的实时异常诊断与插补方法，包括以下步骤：S1，获取水情监测数据，绘制箱型图，基于箱型图实时识别诊断异常数据；S2，对预测变量相关的其他变量进行灰色关联分析；S3，构建BP神经网络模型并训练，模型输入为灰色关联分析法比选的高关联度变量，输出为预测变量；S4，应用BP神经网络模型实时预测。优选地，步骤S1具体包括：选取持续两天的水情监测数据为2小时水情监测数据绘制箱型图，描绘出所述数据的离散分布情况，并以离散数据的四分位数和四分位距作为判断异常值的标准，以识别检测数据中的异常值。优选地，判断异常值的标准具体为：以数据小于Q1-1.5QR或大于Q3+1.5QR作为异常数据的判断标准，其中Q1为第一四分位数，Q3为第三四分位数，QR为四分位距：QR＝Q3-Q。优选地，步骤S2具体包括：S21，根据预测变量的性质和特征，选取能够影响、反映预测变量的其他变量，进行灰色关联分析；S22，对选定的进行灰色关联分析的变量进行无量纲化处理，以使物理意义不同、数据量纲不同的各变量便于比较；S23,计算各个相关变量的灰色关联系数ξ，该系数表征各相关变量和预测变量在某时刻的差异，简化公式：其中，ζ0i是关联系数；ρ为分辨系数，一般在0～1之间，通常取0.5；Δ(min)是二级最小差，Δ(max)是二级最大差；Δ0i(k)为各比较数列上的每一个点与参考数列曲线上的每一个点的绝对差值；S24,计算各个相关变量的关联度，将各时刻的关联系数集中为一个值，即：其中，ri是比较数列对参考数列的灰关联度，ri值越接近1，说明相关性越好。ξi是步骤(3)中计算的关联系数；S25，将各相关变量对预测变量的关联度排序，反映出各相关变量和预测变量的相关性大小。优选地，预测变量指水情实时监测数据，包括节制闸水位、流量。优选地，步骤S22中的无量纲化处理具体包括：选取标准化方法，对选取变量的原始数据进行线性变换，定义minA和maxA分别为变量A的最小值和最大值，将A的一个原始值x通过min-max标准化映射成在区间[0,1]中的值x'，则x'为原始值x的无量纲化后的结果。优选地，步骤S3中BP神经网络模型中的高关联度变量为关联系数最大的变量。优选地，步骤S3中建立的BP神经网络模型是：以高关联度变量的历史监测数据作为模型输入，以预测变量的历史监测数据作为模型输出，利用Matlab神经网络工具箱构建误差反传-信息前馈神经网络模型，并对构建的网络模型进行训练；所述训练数据至少包含高关联度变量的时间跨度满一年的2小时数据。优选地，将步骤1中水情监测数据的2小时时间序列数据作为BP神经网络模型输入，应用于步骤S3中训练完成的BP神经网络模型，输出的预测变量值即是实时异常值的修正值。本专利技术的有益效果是：本专利技术公开了一种水情监测数据的实时异常诊断与插补方法，获取水情监测数据，绘制箱型图，基于箱型图实时识别诊断异常数据；对预测变量相关的其他变量进行灰色关联分析；构建BP神经网络模型并训练，应用BP神经网络模型对水情监测数据进行实时预测，并进行异常诊断及数据插补，采用该方法可以有效提高水情监测数据的实时预测和监测，对于异常数据能够及时诊断、插补，从而可以提高数据的可靠性、客观反映水情变化、有效指导工程调度。附图说明图1是实施例1中的水情监测数据的实时异常诊断与插补方法流程示意图；图2是实施例2中箱型图识别诊断节制闸水位数据异常值结果；图3是实施例2中采用BP神经网络模型对节制闸的闸前水位进行插补后节制闸水位数据异常值结果。具体实施方式为了使本专利技术的目的、技术方案及优点更加清楚明白，以下结合附图，对本专利技术进行进一步详细说明。应当理解，此处所描述的具体实施方式仅仅用以解释本专利技术，并不用于限定本专利技术。实施例1本实施例提供一种水情监测数据的实时异常诊断与插补方法，具体包括以下步骤：步骤1，基于箱型图分析法实时识别诊断异常数据。明渠调水工程中的监测数据的采集频次可精确到秒级，但秒级监测数据受到明渠调水工程水情数据的实时波动干扰，不利于指导工程调度。受到明渠调水工程中河渠水力特性、工程运行时期、人员劳动强度等多种因素影响，明渠调水工程的水情监测频率并非越高越好，实际调度工作中，2小时水情监测数据稳定性高、连续性好，能够客观反映水情变化、有效指导工程调度，因此选取2小时水情监测数据绘制箱型图，实时识别诊断异常数据。为避免数据分布范围过大影响异常值实时识别诊断，选取绘制箱型图的水情监测数据不宜过多，持续时段不应过长。本实施例中选取持续两天的2小时水情观测数据绘制箱型图，描绘出数据的离散分布情况，并以四分位数和四分位距作为判断异常值的标准，可以直观地识别数据中的异常值。同时，箱型图的形状反映数据的偏态和质量，偏态表示偏离程度，尾部越重说明异常值越多，数据质量越差。步骤2，对预测变量相关的其他变量进行灰色关联分析。(1)根据预测变量的性质和特征，选取能够影响、反映预测变量的其他变量，进行灰色关联分析。(2)对选定的进行灰色关联分析的变量进行无量纲化处理，以使物理意义不同、数据量纲不同的各变量便于比较。(3)计算各个相关变量的灰色关联系数ξ，该系数表征各相关变量和预测变量在某时刻的差异，简化公式：其中，ξ0i是关联系数；ρ为分辨系数，一般在0～1之间，通常取0.5；Δ(min)是二级最小差，Δ(max)是二级最大差；Δ0i(k)为各本文档来自技高网...

【技术保护点】
1.一种水情监测数据的实时异常诊断与插补方法，其特征在于，包括以下步骤：/nS1，获取水情监测数据，绘制箱型图，基于箱型图实时识别诊断异常数据；/nS2，对预测变量相关的其他变量进行灰色关联分析；/nS3，构建BP神经网络模型并训练，模型输入为灰色关联分析法比选的高关联度变量，输出为预测变量；/nS4，应用BP神经网络模型对水情监测数据进行实时预测，并进行异常诊断及数据插补。/n

【技术特征摘要】
1.一种水情监测数据的实时异常诊断与插补方法，其特征在于，包括以下步骤：
S1，获取水情监测数据，绘制箱型图，基于箱型图实时识别诊断异常数据；
S2，对预测变量相关的其他变量进行灰色关联分析；
S3，构建BP神经网络模型并训练，模型输入为灰色关联分析法比选的高关联度变量，输出为预测变量；
S4，应用BP神经网络模型对水情监测数据进行实时预测，并进行异常诊断及数据插补。


2.根据权利要求1所述的水情监测数据的实时异常诊断与插补方法，其特征在于，步骤S1具体包括：选取持续两天的水情监测数据为2小时水情监测数据绘制箱型图，描绘出所述数据的离散分布情况，并以离散数据的四分位数和四分位距作为判断异常值的标准，以识别检测数据中的异常值。


3.根据权利要求1所述的水情监测数据的实时异常诊断与插补方法，其特征在于，判断异常值的标准具体为：以数据小于Q1-1.5QR或大于Q3+1.5QR作为异常数据的判断标准，其中Q1为第一四分位数，Q3为第三四分位数，QR为四分位距：QR＝Q3-Q。


4.根据权利要求1所述的水情监测数据的实时异常诊断与插补方法，其特征在于，步骤S2具体包括：
S21，根据预测变量的性质和特征，选取能够影响、反映预测变量的其他变量，进行灰色关联分析；
S22，对选定的进行灰色关联分析的变量进行无量纲化处理，以使物理意义不同、数据量纲不同的各变量便于比较；
S23,计算各个相关变量的灰色关联系数ξ，该系数表征各相关变量和预测变量在某时刻的差异，简化公式：



其中，ξ0i是关联系数；ρ为分辨系数，一般在0～1之间，通常取0.5；Δ(min)是二级最小差，Δ(max)是二级最大差；Δ0i(k)为各比较数列上的每一个点与参考数列曲线上的每一个...

【专利技术属性】
技术研发人员：雷晓辉，张召，郭一伟，田雨，王超，王浩，黄鑫，乔雨，靳燕国，丁武，
申请(专利权)人：中国水利水电科学研究院，
类型：发明
国别省市：北京;11