一种用于剔除异常点的方法、系统及电子设备技术方案

本发明专利技术公开了一种用于剔除异常点的方法、系统及电子设备，包括：获取监测水体区域采样点的水质参数和多光谱遥感数据；对所述采样点的水质参数和多光谱遥感数据进行二维降维，生成二维平面散点图；基于所述二维平面散点图绘制置信区间；若二维降维后的所述采样点位于所述置信区间之外，将所述采样点判定为异常数据并将所述异常数据剔除。本发明专利技术利用二维降维的思想设置置信椭圆剔除异常数据，在信息损失尽可能少的情况下，降低数据维度，在新的数据维度上，使它们反映事物的主要特征。使它们反映事物的主要特征。使它们反映事物的主要特征。

【技术实现步骤摘要】
一种用于剔除异常点的方法、系统及电子设备


[0001]本专利技术涉及数据监测
，具体为一种用于剔除异常点的方法、系统及电子设备。

技术介绍

[0002]随着水污染问题的日益严重，水质监测成为社会经济可持续发展必须解决的重大问题，尤其是内陆水体，其水质已经对国民的生产和生活用水安全产生威胁，实现对内陆水质准确、快速监测对保障国民用水安全具有重要意义。常规水质监测多采用实验室分析手段，虽然监测精度高，但费时、费力且只能获取监测断面上水质状况，难以满足对水质进行大范围、多时相动态监测的需求；遥感技术作为一种区域性监测手段，可克服常规水质监测方法的不足。
[0003]随着遥感技术的不断发展，遥感技术应用于水质监测的研究越来越多，反演模型的精度要求越来越高。但在水体样本的采集、处理、保存和分析都会带来不同程度的误差，特别是人为测量的误差会影响到后期的数据分析和建模；无人机获取的多光谱数据，由于仪器噪声、外界环境干扰、操作不当及其他偶发因素的影响，采集到的光谱数据中往往存在异常数据；获得的多光谱数据进行影像拼接时，由于水体特征点选取的错误，有本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于剔除异常点的方法，其特征在于，包括：获取水体监测区域内采样点的水质参数和多光谱遥感数据；对所述采样点的水质参数和多光谱遥感数据进行二维降维，生成二维平面散点图；基于所述二维平面散点图绘制置信区间；若二维降维后的所述采样点位于所述置信区间之外，将所述采样点判定为异常点并将所述异常点剔除。2.根据权利要求1所述的用于剔除异常点的方法，其特征在于，获取水体监测区域内采样点的水质参数和多光谱遥感数据具体包括：获取不同时间段内多条河流区域的多个采样点，每个所述采样点的样本数据都包括水质实测浓度和多光谱遥感反射率数据。3.根据权利要求1所述的用于剔除异常点的方法，其特征在于，对所述采样点的水质参数和多光谱遥感数据进行二维降维，生成二维平面散点图，基于所述二维平面散点图绘制置信区间，若二维降维后的所述采样点位于所述置信区间之外，则将该所述采样点判定为异常点并将所述异常点剔除的步骤具体包括：将在同一个时间段内的同一条河流区域获取的所述采样点分为一组，得到多组样本数据，即同一组的所述样本数据包括在同一个时间段内的同一条河流区域获取的所述采样点的水质参数和多光谱遥感数据，不同组的所述样本数据分别是在不同时间段内或不同河流区域内获取的所述采样点的水质参数和多光谱遥感数据；分别对每一组所述样本数据进行二维降维，生成对应每一组所述样本数据的二维平面散点图，针对不同的所述二维平面散点图，分别绘制相对应的置信区间；分别对每组所述样本数据进行异常值的判断，若与每组所述样本数据相对应的所述二维平面散点图的采样点位于与该所述二维平面散点图相对应的所述置信区间之外，将所述采样点判定为异常点并将所述异常点剔除，得到与多组所述样本数据相对应的多个判断结果。4.根据权利要求1所述的用于剔除异常点的方法，其特征在于，利用主成分分析PCA原理进行二维降维，包括如下计算步骤：对原始矩阵Z进行数据中心化，根据数据中心化后的矩阵Z
’
计算样本矩阵的协方差矩阵D(Z
’
)，对所述协方差矩阵D(Z
’
)进行特征值分解得到特征向量矩阵W，根据特征向量矩阵W得到二维平面散点图。5.根据权利要求1所述的用于剔除异常点的方法，其特征在于，对所述采样点的水质参数和多光谱遥感数据进行二维降维，生成二维平面散点图的步骤具体包括：获取m行n列以矩阵形式排列的原始数据，所述原始数据包括：m个所述采样点的样本数据Z
i
，所述样本数据Z
i
包括n个所述水质参数X
i
和n个所述多光谱遥感数据Y
i
，其中，n个所述水质参数水质参数表示第i个采样点的第j个所述水质参数，n个所述多光谱遥感数据光谱遥感数据表示第i个采样点的第j个所述多光谱遥感反射率数据，i＝1、2、3、
…
、m,j＝1、2、3、
…
、n；将所述水质参数和所述多光谱遥感反射率数据合并为一组，得到得到所述样本数据得到所述样本数据得到所述原始矩阵其中，表示所述原始矩阵Z的第i行第j列；对所述原始矩阵Z进行数据中心化，即式中，i＝1、2、3、
…
、m,k＝1、
2、
…
、m，j＝1、2、3、
…
、n，表示所述原始矩阵Z的第i行第j列，表示所述原始矩阵Z的第k行第j列，得到矩阵k行第j列，得到矩阵表示经数据中心化后的所述矩阵Z
’
的第i行第j列；根据所述矩阵Z
’
计算协方差矩阵D(Z
’
)：其中，Z
i Z
j
分别表示所述矩阵Z
’
的第i列和第j列向量，表示所述协方差矩阵D(Z
’
)中第i行j列的协方差值，其中，i，j＝1、2、
…
、n；求解所述协方差矩阵D(Z
’
)的特征值λ
i
，i＝1、2、
…
、n，求解公式为：式中，E表示单位矩阵，λE表示n阶单位矩阵的λ倍，|D(Z
’
)
‑
λE|表示所述协方差矩阵D(Z
’
)的特征多项式，λ1、λ2、λ3、
…
、λ
n
分别表示特征向量对应的特征值，将最大的两个特征值分别定义为λ
max1
、λ
max2
；求解所述协方差矩阵D(Z
’
)的特征向量矩阵W，求取特征向量W
i
，i＝1、2、
…
、n，求解公式为：得到n个特征向量，即W1、W2、W3、

【专利技术属性】
技术研发人员：章佩丽，宋小晴，王昱，宋亮楚，古兵华，王浩，
申请(专利权)人：台州市污染防治工程技术中心，
类型：发明
国别省市：