一种水质监测数据异常识别及预警方法技术

本发明专利技术公开了一种水质监测数据异常识别及预警方法，通过划分重组水质监测数据集构建修饰模型，并在修饰模型中加入相关的修正函数，进一步将修正后的修饰模型与基线模型集成，从而实现水质监测数据中异常数据的识别与预警。本方法可以有效捕捉异常预警输出和水质监测数据输入之间精确的长程耦合相关性，更有效地识别和预警水质异常事件的发生，提高对水质异常数据预警的准确性，且不受历史监测数据范围的限制。范围的限制。范围的限制。

【技术实现步骤摘要】
一种水质监测数据异常识别及预警方法


[0001]本专利技术属于水质数据异常监测预警
，涉及一种水质监测数据异常识别及预警方法。

技术介绍

[0002]在水质环境监测过程中，通常需要对水质传感器所获取的水质监测数据中的异常值进行识别和预警，传统方法是基于国家水质标准的阈值式简单识别及预警。为减小不确定因素对水质异常识别及预警的负面影响，需要挖掘水质监测数据的内在关联信息，改进对水质异常监测数据的特征提取过程，提出精度更高更稳定的水质异常监测数据识别及预警方法。
[0003]为了提高水质异常监测数据识别及预警结果的准确性和稳定性，目前的改进方法主要有自回归模型、机器学习方法和多尺度循环神经网络，但各有其局限性。自回归模型不太适用于非平稳的水质监测数据序列，无法同时考虑水质变化长期趋势的信息和较细粒度的波动性，在周期规律模糊的场景下，容易出现幅值差异等问题；传统机器学习方法难以得出超出水质历史监测数据范围的预测值，需要对离群点预测等事件进行后处理；多尺度的循环神经网络采用层次化结构建模，除了参数优化困难，还依赖于水质预测模型的准确性。
[0004]综上，现有方法应用于水质监测数据异常识别及预警时，由于其各自的局限性，难以有效地识别水质变化趋势和异常事件的发生，导致水质异常识别预警应用中的精确率和稳定性不足。为了提高水质异常识别及预警的准确性和稳定性，急需一种更具有效性的水质异常识别及预警方法。

技术实现思路

[0005]针对现有技术的不足，本专利技术提出了一种水质监测数据异常识别及预警方法，通过划分重组水质监测数据集构建修饰模型，并对修饰模型的预测结果进行修正，，进一步集成修正后的修饰模型与基线模型，得到最终的水质异常识别结果，本方法可以有效捕捉异常预警输出和水质监测数据输入之间精确的长程耦合相关性，提高对水质异常识别及预警的准确性和稳定性。
[0006]一种水质监测数据异常识别及预警方法，具体包括以下步骤：
[0007]步骤一、水质监测数据预处理
[0008]对采集到的具有时间关联的水质数据进行特征提取，清洗原始数据中的杂质与冗余，X
i
为清洗后得到的第i列特征数据，再对X
i
进行零均值归一化处理，得到
[0009]作为优选，数据特征提取的方法为时间戳处理或离散变量处理。
[0010]步骤二、计算基于基线模型的水质异常识别结果
[0011]对步骤一预处理后的水质监测数据集进行重采样，然后输入使用长短期记忆神经网络LSTM构建的基线模型中，将模型最后一个时刻隐变量输入到全连接层中，输出水质监测数据在规定时间内出现异常的结果p0：
[0012]p0＝σ(h
n
)
[0013]其中，h
n
表示LSTM的输出结果：
[0014][0015]其中表示步骤一归一化处理后的水质监测数据集，为在t时刻的特征数据向量，k是向量维度。
[0016]步骤三、计算基于修饰模型的水质异常识别结果
[0017]将步骤一归一化处理后的数据集按照时间顺序拆分成n份，将前n
‑
a份数据组成新的训练数据集X
*
，重采样后输入使用树模型构建的修饰模型中，输出水质监测数据在规定时间内出现异常的结果p
i
，后a份数据归入测试数据集，且a＜n/2。
[0018]p
i
＝Tree(X
*
), 1≤i≤n/2
‑
a
[0019]作为优选，树模型选用LightGBM、XGBoost或CatBoost模型。
[0020]步骤四、引入修正函数
[0021]引入修正函数，对步骤三中修饰模型的输出水质异常识别结果进行修正：
[0022][0023]其中，w
i
表示修正函数结果，α表示调制系数，用于防止触发浮点异常，β表示数据集的统计时长。
[0024]作为优选，调制系数α＝1。
[0025]步骤五、水质异常识别结果修正
[0026]集成步骤二中基线模型的预测结果与步骤四中修正后的水质异常识别结果，作为最终的水质监测数据在规定时间内出现异常的结果p：
[0027][0028]其中γ、1
‑
γ分别表示基线模型、修饰模型预测结果的重要性程度。
[0029]作为优选，本方法还包括步骤六，对识别结果进行评价：
[0030]将测试数据集输入集成模型中，分别采用精确率、AUC衡量评价水质异常识别结果的准确性和稳定性。精确率、AUC越高，水质异常识别及预警方法的性能越好。
[0031]精确率是指水质中溶解氧、高锰酸盐指数、氨氮、总磷以及总氮等水质指标异常事件的个数被识别为异常的占比：
[0032]Precision＝TP/(TP+FP)
[0033]式中，TP、FP分别表示水质指标异常事件、水质指标正常事件被识别为异常的个数。
[0034]计算水质异常识别及预警的AUC值如下：
[0035][0036]其中，n1、n0分别是识别为水质异常事件和正常事件的个数；rank(i)表示第i条被识别为异常的序号；概率得分从小到大排序，rank(i)排在第i个位置。
[0037]本专利技术具有以下有益效果：
[0038]所提方法采用重采样方法构建基线模型，以尽可能不破坏水质监测数据真实分布，而后划分重组数据集构建修饰模型以有效利用重采样被丢弃的数据信息，接着加入最优修正函数对修饰模型的预测结果进行修正，以有效利用修饰模型预测结果信息，最后将修正后的修饰模型与基线模型集成，不但降低异常值以及缺失值对识别模型的影响，而且能有效学习异常预警输出和水质监测数据输入之间精确的长程耦合相关性，从而提高对水质异常监测数据识别及预警的准确性和稳定性。
附图说明
[0039]图1为一种水质监测数据异常识别及预警方法的流程图；
[0040]图2是一种水质监测数据异常识别模型结构示意图；
[0041]图3为水质监测数据集划分重组示意图；
[0042]图4是模型集成方法示意图。
具体实施方式
[0043]以下结合附图对本专利技术作进一步的解释说明；
[0044]如图1、2所示，一种水质监测数据识别及预警方法，具体包括以下步骤：
[0045]步骤一、水质监测数据预处理
[0046]通过时间戳处理与离散变量处理对采集到的水质时间序列数据进行特征提取，清洗流域基础数据、水质监测数据、气象数据等原始数据中的缺失值和冗余，X
i
为清洗后得到的第i列特征数据。为了消除原始数据的量纲影响，使不同的数据之间具有可比性，对清洗后的特征数据进行归一化处理，实现等比缩放，将结果映射到[0,1]的范围内，再映射到均值为0、标准差为1的分布上，完成零均值归一化：
[0047][0048][0049][0050][0051本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种水质监测数据异常识别及预警方法，其特征在于：该方法具体包括以下步骤：步骤一、水质监测数据预处理对采集到的具有时间关联的水质数据进行特征提取，清洗原始数据中的杂质与冗余，X
i
为清洗后得到的第i列特征数据，再对X
i
进行零均值归一化处理，得到步骤二、计算基于基线模型的水质异常识别结果对步骤一预处理后的水质监测数据集进行重采样，然后输入使用长短期记忆神经网络LSTM构建的基线模型中，将模型最后一个时刻隐变量输入到全连接层中，输出水质监测数据在规定时间内出现异常的结果p0：p0＝σ(h
n
)其中，h
n
表示LSTM的输出结果：其中表示步骤一归一化处理后的水质监测数据集，为在t时刻的特征数据向量，k是向量维度；步骤三、计算基于修饰模型的水质异常识别结果将步骤一归一化处理后的数据集按照时间顺序拆分成n份，将前n
‑
a份数据组成新的训练数据集X
*
，重采样后输入使用树模型构建的修饰模型中，输出水质监测数据在规定时间内出现异常的结果p
i
，后a份数据归入测试数据集，且a＜n/2；p
i
＝Tree(X
*
),
ꢀꢀ
1≤i≤n/2
‑
α步骤四、引入修正函数引入修正函数，对步骤三中修饰模型的输出水质异常识别结果进行修正：其中，w
i
表示修正函数结果，α表示调制系数，用于防止触发浮点异常，β表示数据集的统计时长；步骤五、水质异常识别结果修正集成步骤二中基线模型的预测结果与步骤四中修正后的水质异常识别结果，作为最终的水质监测数据在规定时间内出现异常的结果p：其中γ、1
‑
γ分别表示基线模型、修饰模型预测结果的重要性程度。2.如权利要求1所述一种水质监测数据异常...

【专利技术属性】
技术研发人员：严求真，叶旺，王越胜，何中杰，杨启尧，郭栋，张运涛，王军，汪惜丹，
申请(专利权)人：杭州电子科技大学，
类型：发明
国别省市：