基于复制器神经网络模型发现环境监测异常数据的方法技术

本发明专利技术公开了基于复制器神经网络模型发现环境监测异常数据的方法，本发明专利技术通过训练集样本完成一个多层前馈型神经网络的训练；并在输入层输出误差最小时确定模型参数；完成自编码器模型构建，当网络训练好后，将未知数据值作为测试集输入自编码器模型；利用测试集网络的目标输出与原样本值之间的误差大小来判断该数据点的异常情况，得出该数据值是否为异常数据的结论。本发明专利技术对环境监测数据自编码建模、对历史环境监测数据进行综合考虑，并对新产生数据进行统计分析，从海量的数据中发现异常值。此算法综合参考历史数据建立适应性模型，能够保证异常数据发现的灵敏度和准确性。

【技术实现步骤摘要】
基于复制器神经网络模型发现环境监测异常数据的方法
本专利技术涉及环境监测技术的
，特别是基于复制器神经网络模型发现环境监测异常数据的方法的

技术介绍
近几年，我国环境问题频发，高质量的环境监测数据是保障环境研究与政府决策合理的关键。然而由于仪器设备、网络传输和人员操作等不确定因素的影响，均可能导致数据出现异常。且环境监测网络数据获取的过程中，通常无法考虑当地具体因素的根据历史数据调整异常值阈值，导致对异常数据判断不够灵敏和准确。此类异常数据若不加审核和检查就直接发布，将极大地印象监测数据质量，进一步导致环境科学的研究结果或政策下达与实际情况出现较大偏差。在本专利技术之前，传统的方式是通过环境对监测设备日常维护和手工校准，以及人工平行样比对和数据人工审核等方法确保数据质量。这样的方法无法全面的考虑本地实际情况，并根据历史数据调整模型。加之环境监测数据量从原来的兆字节/天增大到太字节/天，原有的人工审核方法和模型更新速度显然不能满足庞大的数据审核需求。而本专利技术所描述的方法则可以对历史环境监测数据进行综合建模，并对本文档来自技高网...

【技术保护点】
1.基于复制器神经网络模型发现环境监测异常数据的方法，其特征在于：包括以下步骤：/n步骤S1初始化特征维度：获取一段时间内j个时间点在当前站点中的f

【技术特征摘要】
1.基于复制器神经网络模型发现环境监测异常数据的方法，其特征在于：包括以下步骤：
步骤S1初始化特征维度：获取一段时间内j个时间点在当前站点中的fi个类别的监测数据Tij作为训练数据，其中i为特征维度，j为时间点数，i，j为正整数；
步骤S2设定压缩维度：对于每个时间点的样本组Tj，包含i个特征，每个特征为Tij,设定压缩维度n，作为复制器神经网络模型判断层的节点数，n满足n<i；
步骤S3构建模型框架：构建复制器网络模型框架，框架包括输入，编码层，判断层，解码层和目标输出；
步骤S4模型训练：在模型的训练过程中，将网络的目标输出跟输入设置为相同，训练的目的是期望最后的模型对于输入样本而言，其目标输出与输入的误差e尽可能小；
步骤S5参数确定：重复步骤S4，直到确定e最小时对应复制器网络的编码层，判断层，解码层；
步骤S6模型运用：根据步骤S5确定的编码层结构参数，将测试数据作为新的输入，得到对应判断层结果；
步骤S7判断离群点：根据比较训练数据和测试数...

【专利技术属性】
技术研发人员：杨婧，付强，柳媛，杨嘉伟，朱余，罗财红，文志宁，柴文轩，王光，
申请(专利权)人：中国环境监测总站，
类型：发明
国别省市：北京;11