一种针对全光谱水质监测设备的数据异常值确定方法技术

本发明专利技术实施例中提供了一种针对全光谱水质监测设备的数据异常值确定方法，所述方法包括如下步骤：S1：点位参数异常值监测；S2：结合动态数据的异常值判断，得到点位的异常参数s；S3：进行区域点位异常值排查，利用点位的上下游关系，对S2中得到的异常参数s所对应的异常值做进一步的排查；S4：根据S3中进一步排查的数据，确定异常值。本发明专利技术所提供的针对全光谱水质监测设备的数据异常值确定方法，对所采集的监测数据进行质控，确定其中的异常值，有效的减少了异常数据的引入而导致的后续质控错误的发生，为全光谱水质监测设备的运行，提供了高质量和高可靠性的监测数据。了高质量和高可靠性的监测数据。

【技术实现步骤摘要】
一种针对全光谱水质监测设备的数据异常值确定方法


[0001]本专利技术涉及水质监测领域，尤其涉及一种针对全光谱水质监测设备的数据异常值确定方法。

技术介绍

[0002]地表水是人类赖以生存和国家可持续发展的重要资源，是各国人民重要的饮用水供给来源地。由于经济的快速发展，一些流域正承受着不同程度的种类的水质污染，威胁着人类的生存健康以及国家的生态环境的健康。因此，水环境问题不仅成为世人关注的焦点，而且还成为当今水污染监测研究工作的热点之一，我国地表水监测网络从1988年开始建立，并与1996年开始逐渐加入自动监测技术。但是，水质监测大多采用实验室化学方法，存在测量周期长和所需化学试剂多且存在二次污染，难以满足对水质监测在线、实时性的要求。
[0003]目前，随着水污染问题的日益严重以及人们对环境问题的不断关注，水污染监测技术获得了快速发展。监测手段的进步得益于新材料的广泛使用和集成电路的迅猛发展，而分析精度的提高主要依赖于计算机复杂运算能力的提高和化学计量法的广泛使用。基于全光谱技术的水质监测速度快、无二次污染、成本低以及可实现多参数同步在线监测等优点。
[0004]全光谱水质自动监测站是以自动在线分析仪器
‑
全光谱水质监测设备为核心，运用现代传感器技术、自动测量技术、自动控制技术、计算机应用技术、室外机柜以及相关专用分析软件和通讯网络组成的一套综合性的水质在线自动监测体系。
[0005]在设备运行过程中，监测数据是进行质量浓度监测的基础，监测数据作为污染物质量浓度质控模型的输入，需要其具备高质量和高可靠性的要求。然而，由于高密度设备故障，通信故障，系统传输故障等故障的存在以及外界环境影响，如柳絮影响，降雨影响等，直接通过高密度设备采集到的数据并不具备这一要求，需要进行采集数据质控以提高数据的质量和可靠性，基于通过异常数据自学习方法可以保证全光谱水质自动监测站的数据质量和数据应用，挖掘数据异常背后的信息，有效的减少由于缺数或异常数据的引入而导致后续质控错误的发生。

技术实现思路

[0006]有鉴于此，本专利技术实施例提供一种针对全光谱水质监测设备的数据异常值确定方法，至少部分解决现有技术中存在的问题。
[0007]本专利技术的目的在于一种针对全光谱水质监测设备的数据异常值确定方法，所述方法包括如下步骤：
[0008]S1：点位参数异常值监测；
[0009]S2：结合动态数据的异常值判断，得到点位的异常参数s；
[0010]S3：进行区域点位异常值排查，利用点位的上下游关系，对S2中得到的异常参数s
所对应的异常值做进一步的排查；
[0011]S4：根据S3中进一步排查的数据，确定异常值。
[0012]本专利技术所提供的针对全光谱水质监测设备的数据异常值确定方法，还具有这样的特征，所述S1为利用孤立森林建立水质参数的异常值监测模型，步骤如下：
[0013]S1.1生成孤立森林模型；
[0014]S1.2用上述孤立森林模型评估新的数据，监测得到点位参数异常值。
[0015]本专利技术所提供的针对全光谱水质监测设备的数据异常值确定方法，还具有这样的特征，所述S1.1步骤如下：
[0016]S1.1.1随机选择w个样本点作为样本子集，放于根节点；
[0017]S1.1.2随机指定一个维度，在当前节点数据中随机产生一个切割点p，所述切割点p位于当前节点数据中指定维度的最大值和最小值之间；
[0018]S1.1.3根据上述切割点p生成一个超平面，将当前节点数据空间划分为2个子空间；把指定维度里小于p的数据放在当前节点的左子节点，把大于等于p的数据放在当前节点的右子节点；
[0019]S1.1.4在子节点中递归步骤S1.1.2和S1.1.3，不断构造新的子节点，直到子节点中只有一个无法再继续切割的数据或子节点已达到限定高度；
[0020]S1.1.5循环S1.1.1至S1.1.4，直至生成T个孤立树iTree。
[0021]本专利技术所提供的针对全光谱水质监测设备的数据异常值确定方法，还具有这样的特征，所述S1.2包括：令每一个数据点x遍历每一颗孤立树iTree，计算点x在森林中的评价高度h(x)，对所有的评价高度作归一化处理，其中，异常值分数计算公式如下：
[0022][0023]其中：
[0024][0025]H(i)为调和数，当异常值分数大于0.7时，判定为异常值。
[0026]本专利技术所提供的针对全光谱水质监测设备的数据异常值确定方法，还具有这样的特征，所述S2包括：
[0027]S2.1：对S1中监测出来的点位参数异常值进行类型判断；
[0028]S2.2：建立动态参数与历史监测参数异常值变化趋势的关系模型；
[0029]S2.3：根据S2.1所得异常类型和监测数据变化趋势判断是否存在该异常，得到异常系数s，判定结果如下：若异常类型与变化趋势一致，则该异常系数为s＝1，若异常类型与变化趋势相反，则该异常系数为s＝0，若变化趋势为稳定，则该异常系数为s＝0.5。
[0030]本专利技术所提供的针对全光谱水质监测设备的数据异常值确定方法，还具有这样的特征，所述S2.1中类型判断如下：z＝vi－m，其中vi为异常参数值，m为该参数均值，当z>0时，为上升异常，当z<0时，为下降异常。
[0031]本专利技术所提供的针对全光谱水质监测设备的数据异常值确定方法，还具有这样的
特征，所述S2.2中建立的动态参数与历史监测参数异常值变化趋势的关系模型为y＝f(x)，其中，x为影响监测数据的动态数据，y为参数变化趋势，y包括上升、下降与稳定。
[0032]本专利技术所提供的针对全光谱水质监测设备的数据异常值确定方法，还具有这样的特征，所述S3为利用监测点位的上下游关系，对已筛选出的异常值进行再次排查，包括：
[0033]S3.1：判断上下游变化趋势q，q＝vi
‑
m，其中vi为点参数，m为该点位该参数均值，若q>p,变化趋势为上升；若q<
‑
p,变化趋势为下降；若
‑
p<q<p,变化趋势为稳定，p为变化趋势阈值；
[0034]S3.2：根据上下游变化趋势判断异常系数。
[0035]本专利技术所提供的针对全光谱水质监测设备的数据异常值确定方法，还具有这样的特征，所述S3.2的判断标准如下：
[0036]若上下游变化趋势都与异常参数类型一致，则异常系数不变，
[0037]若上下游变化趋势中一个点与异常参数类型相反，一个点与异常参数类型相同，则异常系数s＝s+1，
[0038]若上下游变化趋势中一个点与异常参数类型相反，另一个点变化趋势为稳定则异常系数s＝s+1.5，
[0039]若上下游变化趋势中一个点与异常参数类型相同，另一个点变化趋势为稳定则异常系数s＝s+0本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种针对全光谱水质监测设备的数据异常值确定方法，其特征在于，所述方法包括如下步骤：S1：点位参数异常值监测；S2：结合动态数据的异常值判断，得到点位的异常参数s；S3：进行区域点位异常值排查，利用点位的上下游关系，对S2中得到的异常参数s所对应的异常值做进一步的排查；S4：根据S3中进一步排查的数据，确定异常值。2.根据权利要求1所述的针对全光谱水质监测设备的数据异常值确定方法，其特征在于，所述S1为利用孤立森林建立水质参数的异常值监测模型，步骤如下：S1.1生成孤立森林模型；S1.2用上述孤立森林模型评估新的数据，监测得到点位参数异常值。3.根据权利要求2所述的针对全光谱水质监测设备的数据异常值确定方法，其特征在于，所述S1.1步骤如下：S1.1.1随机选择w个样本点作为样本子集，放于根节点；S1.1.2随机指定一个维度，在当前节点数据中随机产生一个切割点p，所述切割点p位于当前节点数据中指定维度的最大值和最小值之间；S1.1.3根据上述切割点p生成一个超平面，将当前节点数据空间划分为2个子空间；把指定维度里小于p的数据放在当前节点的左子节点，把大于等于p的数据放在当前节点的右子节点；S1.1.4在子节点中递归步骤S1.1.2和S1.1.3，不断构造新的子节点，直到子节点中只有一个无法再继续切割的数据或子节点已达到限定高度；S1.1.5循环S1.1.1至S1.1.4，直至生成T个孤立树iTree。4.根据权利要求2所述的针对全光谱水质监测设备的数据异常值确定方法，其特征在于，所述S1.2包括：令每一个数据点x遍历每一颗孤立树iTree，计算点x在森林中的评价高度h(x)，对所有的评价高度作归一化处理，其中，异常值分数计算公式如下：其中：H(i)为调和数，当异常值分数大于0.7时，判定为异常值。5.根据权利要求1所述的针对全光谱水质监测设备的数据异常值确定方法，其特征在于，所述S2包括：S2.1：对S1中监测出来的点位参数异常值进行类型判断；S2.2：建立动态参数与历史监测参数异常值变化趋势的关系模型；S2.3：根据S2.1所得异常类型和监测数据变化趋势判断是否存在该异常...

【专利技术属性】
技术研发人员：荆红卫，刘保献，安欣欣，景宽，陶蕾，王琛，奚采亭，王莉华，李海军，金萌，
申请(专利权)人：北京市生态环境监测中心，
类型：发明
国别省市：