一种基于自动监测仪器的异常数据检测方法及系统技术方案

一种基于自动监测仪器的异常数据检测方法及系统，该方法包括：采集各自动监测仪器的监测数据；对所述监测数据进行如下判断，如果符合其中之一则视为异常数据或疑似异常数据：(1)判断是否大于预设阈值或小于仪器检出限；(2)对预设的一段时间内采集到的同一监测数据做方差，判断所述方差是否为0；(3)按照距离和气象条件将所述自动检测仪器按区域划分，对每一个区域中的所述自动监测仪器的监测数据进行统计处理，检测同一时间点中所述监测数据中的异常高值和异常低值。本发明专利技术创新性地采用箱式图和计算相对变化率的方法，分区域自动筛查，计算变量较少，有效支持了空气质量数据发布工作的及时性和准确性。

Abnormal data detection method and system based on automatic monitoring instrument

A method and system for detecting abnormal data automatic monitoring instrument based on the method includes: monitoring data acquisition automatic monitoring instrument; the following judgment on the monitoring data, if the one is regarded as abnormal data or suspected abnormal data: (1) to determine whether it is greater than the preset threshold value or less than the detection limit; (2) the same monitoring data collected in a pre-set period of time in the variance, whether the variance is 0; (3) according to the distance and the meteorological conditions of the automatic detection instrument by region, for each region of the monitoring data of the automatic monitoring instrument statistical processing, detection at the same time point in the monitoring data and the abnormal high value and low value anomaly. The invention adopts the box type diagram and the method of calculating the relative change rate, the automatic screening of the partition area, the less calculation variables, and effectively supports the timeliness and accuracy of the air quality data publishing work.

【技术实现步骤摘要】

本专利技术涉及大气环境监测领域，更具体地涉及一种基于自动监测仪器的异常数据检测方法及系统。
技术介绍
我国各省为了监控大气环境质量状况，更好地为公众和政府提供空气质量信息服务，规划建设了大气环境自动监测系统。新标准实施以来，各地自动监测的空气质量对外发布，人民群众可以在手机、网络、电视等媒体查看实时空气质量信息，空气质量信息发布及健康提示方便了群众生活也保障了群众的身体健康。但是在空气质量发布过程中，难免发布的实时数据中会出现异常数据。在监测设备连续监测的过程中，不可避免由于仪器部件故障或监测点突发事件，出现不能真实反映空气质量状况的监测数据，即异常数据。为了保证数据的真实性和科学性，原始数据在后续的计算、处理、发布等过程中，异常数据应当被剔除。随着监测站数量的不断增加，靠人工发现异常数据的方式已不再可行，因此有必要研究一种异常数据的检测方法，采用自动化的手段实现异常数据的自动检测，且进一步可以在剔除异常数据后自动恢复数据的发布。
技术实现思路
有鉴于此，本专利技术的主要目的在于提供一种基于自动监测仪器的异常数据检测方法，以实现自动剔除监测数据中的异常数据的目的。为了实现上述目的，作为本专利技术的一个方面，本专利技术提供了一种基于自动监测仪器的异常数据检测方法，包括以下步骤：采集各自动监测仪器的监测数据；对所述监测数据进行如下判断，如果符合其中之一则将所述监测数据视为异常数据或疑似异常数据：条件一，判断所述监测数据是否大于预设的阈值或小于仪器检出限，如果是，则所述监测数据为异常数据；条件二，对预设的一段时间内采集到的同一监测数据做方差，判断所述方差是否为0，如果是，则所述监测数据为异常数据；条件三，按照距离和气象条件将所述自动检测仪器按区域划分，对每一个区域中的所述自动监测仪器的监测数据进行统计处理，检测同一时间点中所述监测数据中的异常高值和异常低值，将其作为疑似异常数据。其中，当所述异常数据检测方法在判断所述监测数据为异常数据或疑似异常数据时，将所述监测数据录入异常数据表中，停止所述监测数据的自动发布。其中，在条件三中，对每一个区域中的所述自动监测仪器的监测数据进行统计处理，检测同一时间点中所述监测数据中的异常高值和异常低值的步骤中采用的方法为箱线图法。其中，在条件三中，当所述异常数据检测方法判断所述监测数据为疑似异常数据时，该方法还包括如下步骤：基于时间维度，研究所述监测数据的相对变化率分布特征，如果所述监测数据的相对变化率大于0，则基于所述监测数据的历史数据拟合的相对变化率曲线，作为所述监测数据是否异常的判定依据，如果当前监测数据的相对变化率超出所述相对变化率曲线的对应值，则将其作为异常数据，否则，数据正常；否则如果当前监测数据的相对变化率小于-0.8，则将其作为异常数据，否则，数据正常。其中，所述异常数据检测方法还包括：当根据条件三，某一监测数据被录入异常数据表中后，检测相关联的监测站点的“实时监测数据”是否落在所述监测数据中的异常高值和异常低值之内，如果是，则所述被录入异常数据表中的监测数据被从所述异常数据表中删除，并自动恢复所述监测数据的发布。作为本专利技术的另一个方面，本专利技术还提供了一种基于自动监测仪器的异常数据检测系统，包括：采集各自动监测仪器的监测数据的装置；对所述监测数据进行如下判断的装置，如果判断结果符合其中之一则将所述监测数据视为异常数据或疑似异常数据：条件一，判断所述监测数据是否大于预设的阈值或小于仪器检出限，如果是，则所述监测数据为异常数据；条件二，对预设的一段时间内采集到的同一监测数据做方差，判断所述方差是否为0，如果是，则所述监测数据为异常数据；条件三，按照距离和气象条件将所述自动检测仪器按区域划分，对每一个区域中的所述自动监测仪器的监测数据进行统计处理，检测同一时间点中所述监测数据中的异常高值和异常低值，将其作为疑似异常数据。其中，当判断所述监测数据为异常数据或疑似异常数据时，将所述监测数据录入异常数据表中，停止所述监测数据的自动发布。其中，在条件三中，对每一个区域中的所述自动监测仪器的监测数据进行统计处理，检测同一时间点中所述监测数据中的异常高值和异常低值时采用的方法为箱线图法。其中，在条件三中，当判断所述监测数据为疑似异常数据时，还包括：基于时间维度，研究所述监测数据的相对变化率分布特征的装置，如果该装置计算得到所述监测数据的相对变化率大于0，则基于所述监测数据的历史数据拟合的相对变化率曲线，作为所述监测数据是否异常的判定依据，如果当前监测数据的相对变化率超出所述相对变化率曲线的对应值，则将其作为异常数据，否则，数据正常；否则如果当前监测数据的相对变化率小于-0.8，则将其作为异常数据，否则，数据正常。其中，所述异常数据检测系统还包括：当根据条件三，某一监测数据被录入异常数据表中后，检测相关联的监测站点的“实时监测数据”是否落在所述监测数据中的异常高值和异常低值之内的装置，如果该装置检测到落入所述监测数据中的异常高值和异常低值之内，则所述被录入异常数据表中的监测数据被从所述异常数据表中删除，并自动恢复所述监测数据的发布。基于上述技术方案可知，本专利技术的方法具有如下有益效果：(1)创新性的采用箱式图和计算相对变化率的方法，进行数据的自动剔除，该方法分区域进行自动筛查异常数据，也可以适用到全国的其他地区，计算变量较少，方法易于维护，费用较低，可在全国推广使用；(2)采用自动化的手段实现异常数据分区域自动检测，提高了数据发布的质量，为值班人员进行数据处理和数据发布控制提供决策支持，提高工作效率，有效支持了空气质量数据发布工作的及时性和准确性。附图说明图1为恒值处理算法设计的流程图；图2为箱线图统计学含义的示意图；图3为北京市一个完整年PM2.5浓度相对变化率；图4为PM2.5浓度相对变化率拟合曲线；图5为箱线图和相对变化率数据检测算法设计的流程图；图6为本专利技术的数据报警及发布算法设计的方框流程图；图7为异常数据表测试信息列表示意图；图8为站点3#的验证数据表格示意图；图9为站点46#的验证数据表格示意图。具体实施方式为使本专利技术的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本专利技术作进一步的详细说明。本专利技术的创新点在于，可以采用自动化的手段实现异常数据分区域自动检测，提高了数据发布的质量，为值班人员进行数据处理和数据发布控制提供决策支持，提高工作效率，有效支持了空气质量数据发布工作的及时性和准确性。更具体地，本专利技术的方法通过如下算法实现。以北京市PM2.5为例，近1年35个自动监测站，共计约29.9万条PM2.5小时监测数据为研究对象，在深入分析数据特征的基础上，制订大气监测异常数据检测方法，进行系统设计、开发、测试、验证。主要从数据合理性(异常大值处理、恒值处理)和数据时空分布特征两个方面进行异常数据检测方法研究：1.1异常大值处理监测数据大于某个值或小于仪器检出限时，该数据必然异常。因此，为发布的数据提供阈值设置功能，大于或小于某一阈值的数据停止发布，否则数据恢复发布。1.2恒值处理正常的仪器监测数据必然有一定的波动性，利用此特征，检测近三小时数据是否恒定不变来识别异常数据。因为数据方差可以表征数据的波动性，所以，可以通过计算近三小时监测数据的方差来识别数本文档来自技高网...

【技术保护点】
一种基于自动监测仪器的异常数据检测方法，其特征在于，包括以下步骤：采集各自动监测仪器的监测数据；对所述监测数据进行如下判断，如果符合其中之一则将所述监测数据视为异常数据或疑似异常数据：条件一，判断所述监测数据是否大于预设的阈值或小于仪器检出限，如果是，则所述监测数据为异常数据；条件二，对预设的一段时间内采集到的同一监测数据做方差，判断所述方差是否为0，如果是，则所述监测数据为异常数据；条件三，按照距离和气象条件将所述自动检测仪器按区域划分，对每一个区域中的所述自动监测仪器的监测数据进行统计处理，检测同一时间点中所述监测数据中的异常高值和异常低值，将其作为疑似异常数据。

【技术特征摘要】
1.一种基于自动监测仪器的异常数据检测方法，其特征在于，包括以下步骤：采集各自动监测仪器的监测数据；对所述监测数据进行如下判断，如果符合其中之一则将所述监测数据视为异常数据或疑似异常数据：条件一，判断所述监测数据是否大于预设的阈值或小于仪器检出限，如果是，则所述监测数据为异常数据；条件二，对预设的一段时间内采集到的同一监测数据做方差，判断所述方差是否为0，如果是，则所述监测数据为异常数据；条件三，按照距离和气象条件将所述自动检测仪器按区域划分，对每一个区域中的所述自动监测仪器的监测数据进行统计处理，检测同一时间点中所述监测数据中的异常高值和异常低值，将其作为疑似异常数据。2.如权利要求1所述的异常数据检测方法，其特征在于，当所述异常数据检测方法在判断所述监测数据为异常数据或疑似异常数据时，将所述监测数据录入异常数据表中，停止所述监测数据的自动发布。3.如权利要求1所述的异常数据检测方法，其特征在于，在条件三中，对每一个区域中的所述自动监测仪器的监测数据进行统计处理，检测同一时间点中所述监测数据中的异常高值和异常低值的步骤中采用的方法为箱线图法。4.如权利要求1所述的异常数据检测方法，其特征在于，在条件三中，当所述异常数据检测方法判断所述监测数据为疑似异常数据时，该方法还包括如下步骤：基于时间维度，研究所述监测数据的相对变化率分布特征，如果所述监测数据的相对变化率大于0，则基于所述监测数据的历史数据拟合的相对变化率曲线，作为所述监测数据是否异常的判定依据，如果当前监测数据的相对变化率超出所述相对变化率曲线的对应值，则将其作为异常数据，否则，数据正常；否则如果当前监测数据的相对变化率小于-0.8，则将其作为异常数据，否则，数据正常。5.如权利要求2所述的异常数据检测方法，其特征在于，所述异常数据检测方法还包括：当根据条件三，某一监测数据被录入异常数据表中后，检测相关联的监测站点的“实时监测数据”是否落在所述监测数据中的异常高值和异常低值之内，如果是，则所述被录入异常数据表中的监测数据被从所述异常数据表中删除，并自动恢复所述监测数据的发布。6.一种基于自...

【专利技术属性】
技术研发人员：马俊文，张大伟，严京海，程念亮，孙峰，孙瑞雯，
申请(专利权)人：北京市环境保护监测中心，
类型：发明
国别省市：北京;11