原位水质巡检数据时空分析与异常检测方法和系统技术方案

原位水质巡检数据时空分析与异常检测方法和系统，其方法包括如下步骤：S1、获取时空序列数据并进行时间序列异常检测和判定；S2、针对时间序列异常数据点划分邻域空间，获得邻域点位集合和时刻的时间邻域；S3、获取时间序列变化趋势特征向量；S4、计算向量相似度，通过相似度判断其为时空异常数据点还是时间异常数据点。本发明专利技术结合多种异常检测技术进行水质数据时序异常检测，融合泰森多边形算法和聚类算法进行空间邻域的划分，针对时间序列数据进行分段线性表示拟合一段时间窗口的时间序列变化趋势特征，结合空间邻域和时序特征检测空间维度的异常数据，通过异常检测可以触发手持巡检水质治理优化。

【技术实现步骤摘要】
原位水质巡检数据时空分析与异常检测方法和系统
本专利技术涉及水质监测
，尤其涉及一种原位水质巡检数据时空分析与异常检测方法和系统。
技术介绍
手持式原位水质监测仪可解决水样由现场运送至室内效率低、数据可靠性、水质性质变化几个方面的问题。相比以往的抽采、站房检测等方式，原位检测由于其更加灵活便捷的特性，可以辅助更多水质监测与河长制场景，如污染溯源，河网巡检等，也可用于工厂、市政供水、管网、游泳池、景观喷泉等领域的在线水质监测。然而，原位检测场景所产生的数据相比固定的采样而言更加丰富和多变，也因此对其数据分析提出了新的挑战。检测场景所产生的数据具备时空特征，检测技术需要同时针对时间维度和空间维度上进行探测，目前也有多种针对空间序列或者时间序列进行异常检测的单一算法，时空异常检测是指专题属性明显偏离其时空邻近域的数据对象，时空异常不仅在该时刻上表现为空间异常,而且在时间序列上也表现为异常。因此，需要针对时空水质数据，通过时间序列和空间序列的融合异常分析，形成基于时空序列的异常检测技术，综合检测时间、地点坐标、水深、水质检测结果等多维度数据，对原位检测水质巡检数据的异常进行发现。
技术实现思路
本专利技术的目的在于提供一种原位水质巡检数据时空分析与异常检测方法和系统，通过对坐标、水深数据进行实时上报，通过时空分析辅助巡检路线优化、河道水质上下游关联、上下层变化分析，提出了时空数据的异常检测优化算法，对于数据中的地点、水深、检测时间、水质结果多维度数据进行综合分析和异常诊断，通过异常检测可以触发手持巡检水质治理优化。为实现上述目的本专利技术采用如下技术方案：原位水质巡检数据时空分析与异常检测方法，包括如下步骤：S1、获取时空序列数据并进行时间序列异常检测和判定；S2、针对时间序列异常数据点划分邻域空间，获得邻域点位集合和时刻的时间邻域；S3、获取时间序列变化趋势特征向量；S4、计算向量相似度，通过相似度判断其为时空异常数据点还是时间异常数据点；相应的，步骤S1中，使用IForest、PCA、HBOS、KNN四种统计分布异常检测算法碰撞的结果以及时间序列异常建模的打分结果进行融合判定，且对所有维度进行单独建模，结果可获得被判断为异常的维度；相应的，步骤S2中，进行时间序列异常判定之后，针对已判断为时间序列异常的数据点的坐标位置信息，通过泰森多边形和K-means聚类算法进行空间邻域的划分，得到观测点的邻域点位集合SNi＝{S1，S2，...，Sn|i，j＜n}，且确定时刻t的d时间邻域TNt＝{Tt-d，...，Tt，...，Tt+d}；相应的，建立泰森多边形的步骤如下：a)通过离散点构建Delaunay三角网，并对离散点和形成的三角形进行编号，记录每个三角形是由哪三个离散点构成的；b)找出并记录与每个离散点相邻的所有三角形的编号，在已构建的三角网中找出具有一个相同顶点的所有三角形；c)对与每个离散点相邻的三角形按顺时针或逆时针方向排序，以便连接生成泰森多边形；d)计算并记录每个三角形的外接圆圆心；e)根据每个离散点的相邻三角形，连接这些相邻三角形的外接圆圆心，得到泰森多边形；相应的，步骤c)中，设离散点为o，找出以o为顶点的一个三角形，设为A；取三角形A除o以外的另一顶点，设为a，则第三个顶点也可找出，设为f；则下一个三角形必然是以of为边的，即为三角形F；三角形F的另一顶点为e，则下一三角形是以oe为边的，如此重复进行，直到回到oa边；相应的，步骤e)中，对于三角网边缘的泰森多边形，可作垂直平分线与图廓相交，与图廓一起构成泰森多边形；相应的，步骤S3中，针对已判断为时间序列异常数据点的邻域空间内的所有点位，获取其在时刻t的d时间领域的异常维度的序列数据，通过时间序列分段线性表示算法拟合序列数据，并求得每段的斜率值，将序列数据的变化趋势特征提取为相应的模式集合，得到变化趋势特征向量；相应的，使用自底而上的时间序列分段线性表示算法拟合序列数据，使用最小二乘法求得每段的斜率值；相应的，自底而上的时间序列分段线性表示算法具体如下：将时间序列划分为相邻点的短序列，此时第一点和第二点的连线，原始点落在线段上，将相邻两个线段连接起来，此时每条线段包含三个原始点，计算中间点的拟合误差，得到所有三点线段中的中间点的拟合误差结果后，找出误差最小且误差小于阀值R的分段，在此基础上，第一条分段同样的和相邻线段连接，然后计算每一条分段的拟合误差，再找出误差最小且小于阀值R的分段，作为第二个分段，依此方式循环，直到所有分段的拟合误差都小于阀值R，分段结束；相应的，步骤S4中，使用余弦距离计算该点位与邻域点位的相似度；相应的，步骤S4中，若相似度均不超过90％，则判断该点位为空间异常，得到时空异常数据点，若相似度均不超过90％，则判断该点位为时间异常，得到时间异常数据点。原位水质巡检数据时空分析与异常检测系统，包括时空序列数据获取检测单元、邻域点位集合和时刻的时间邻域获取单元、特征向量获取计算单元，所述时空序列数据获取检测单元获取时空序列数据并进行时间序列异常检测和判定，所述邻域点位集合和时刻的时间邻域获取单元针对时间序列异常数据点划分邻域空间，获得邻域点位集合和时刻的时间邻域，所述特征向量获取计算单元获取时间序列变化趋势特征向量，并计算向量相似度，若相似度均不超过设定值，则判断该点位为空间异常，得到时空异常数据点，若相似度均不超过设定值，则判断该点位为时间异常，得到时间异常数据点；相应的，进行时间序列异常判定之后，所述邻域点位集合和时刻的时间邻域获取单元针对已判断为时间序列异常的数据点的坐标位置信息，通过泰森多边形和K-means聚类算法进行空间邻域的划分，得到观测点的邻域点位集合SNi＝{S1，S2，...，Sn|i，j＜n}，且确定时刻t的d时间邻域TNt＝{Tt-d，...，Tt，...，Tt+d}；相应的，所述特征向量获取计算单元针对已判断为时间序列异常数据点的邻域空间内的所有点位，获取其在时刻t的d时间领域的异常维度的序列数据，通过自底而上的时间序列分段线性表示算法拟合序列数据，并使用最小二乘法求得每段的斜率值，将序列数据的变化趋势特征提取为相应的模式集合，得到变化趋势特征向量；相应的，所述特征向量获取计算单元使用余弦距离计算该点位与邻域点位的相似度；相应的，若相似度均不超过90％，则判断该点位为空间异常，得到时空异常数据点，若相似度均不超过90％，则判断该点位为时间异常，得到时间异常数据点。本专利技术的有益效果为：可针对多维度水质数据联合分析，结合多种异常检测技术进行水质数据时序异常检测，融合泰森多边形算法和聚类算法进行空间邻域的划分，针对时间序列数据进行分段线性表示拟合一段时间窗口的时间序列变化趋势特征，结合空间邻域和时序特征检测空间维度的异常数据，通过异常检测可以触发手持巡检水质治理优化。附图说明<本文档来自技高网...

【技术保护点】
1.原位水质巡检数据时空分析与异常检测方法，其特征在于，包括如下步骤：/nS1、获取时空序列数据并进行时间序列异常检测和判定；/nS2、针对时间序列异常数据点划分邻域空间，获得邻域点位集合和时刻的时间邻域；/nS3、获取时间序列变化趋势特征向量；/nS4、计算向量相似度，通过相似度判断其为时空异常数据点还是时间异常数据点。/n

【技术特征摘要】
1.原位水质巡检数据时空分析与异常检测方法，其特征在于，包括如下步骤：
S1、获取时空序列数据并进行时间序列异常检测和判定；
S2、针对时间序列异常数据点划分邻域空间，获得邻域点位集合和时刻的时间邻域；
S3、获取时间序列变化趋势特征向量；
S4、计算向量相似度，通过相似度判断其为时空异常数据点还是时间异常数据点。


2.根据权利要求1所述的原位水质巡检数据时空分析与异常检测方法，其特征在于，步骤S1中，使用IForest、PCA、HBOS、KNN四种统计分布异常检测算法碰撞的结果以及时间序列异常建模的打分结果进行融合判定，且对所有维度进行单独建模，结果可获得被判断为异常的维度。


3.根据权利要求1所述的原位水质巡检数据时空分析与异常检测方法，其特征在于，步骤S2中，进行时间序列异常判定之后，针对已判断为时间序列异常的数据点的坐标位置信息，通过泰森多边形和K-means聚类算法进行空间邻域的划分，得到观测点的邻域点位集合SNi＝{S1，S2，...，Sn|i，j＜n}，且确定时刻t的d时间邻域TNt＝{Tt-d，...，Tt，...，Tt+d}。


4.根据权利要求3所述的原位水质巡检数据时空分析与异常检测方法，其特征在于，建立泰森多边形的步骤如下：
a)通过离散点构建Delaunay三角网，并对离散点和形成的三角形进行编号，记录每个三角形是由哪三个离散点构成的；
b)找出并记录与每个离散点相邻的所有三角形的编号，在已构建的三角网中找出具有一个相同顶点的所有三角形；
c)对与每个离散点相邻的三角形按顺时针或逆时针方向排序，以便连接生成泰森多边形；
d)计算并记录每个三角形的外接圆圆心；
e)根据每个离散点的相邻三角形，连接这些相邻三角形的外接圆圆心，得到泰森多边形。


5.根据权利要求4所述的原位水质巡检数据时空分析与异常检测方法，其特征在于，步骤c)中，设离散点为o，找出以o为顶点的一个三角形，设为A；取三角形A除o以外的另一顶点，设为a，则第三个顶点也可找出，...

【专利技术属性】
技术研发人员：孙成，
申请(专利权)人：上海仪电集团有限公司中央研究院，
类型：发明
国别省市：上海;31