一种基于LV-DBSCAN的大坝安全监测数据异常检测方法技术

本发明专利技术公开了一种基于LV

【技术实现步骤摘要】
一种基于LV
‑
DBSCAN的大坝安全监测数据异常检测方法


[0001]本专利技术涉及大坝安全监测数据异常检测的
，更具体地说它是一种基于LV
‑
DBSCAN的大坝安全监测数据异常检测方法。

技术介绍

[0002]大坝安全监测数据的获取过程不可避免会受到人为失误、外界干扰、设备故障等因素的影响，致使原始监测数据序列中常存在异常测值，极大的影响了大坝安全监测资料分析的可靠性和准确性。
[0003]异常测值的判断、分析和处理，是监测资料分析的基础性工作，也是监测资料分析的主要难题之一。常用的大坝安全监测异常检测方法可分为统计概率法、小波分析法、时空判别法和数学模型法等。不同类型方法主要侧重点不一致，导致其适用性有限。一般而言，对于平稳数据序列，采用统计概率法基本能够有效识别整体上远离数据序列的异常值，而若监测效应量变化呈现递增趋势，则不满足数据序列独立同分布条件，无法使用统计概率法。对于阶跃异常测值，可能由于地震等突发情况导致，也可能由于仪器损坏中间数据漏测导致，此类情况在大坝环境量和效应量上难有先兆信息，通常难以实时判断。采用时空判别法，窗口在滑动至阶跃点时，由于前后相差较大，容易对阶跃后前几个值造成误判。
[0004]由此可见，现亟需开发一种克服单一方法难以保证异常值完全被识别问题且准确率高、误判率低的大坝安全监测数据异常检测方法很有必要。

技术实现思路

[0005]本专利技术的目的是为了克服
技术介绍
的不足之处，而提供一种基于LV
‑<br/>DBSCAN的大坝安全监测数据异常检测方法，该方法根据数据整体和局部特性统筹考虑，融合局部变化异常系数法(LV)和密度聚类算法(DBSCAN)，对于平稳数据和非平稳数据均有较高的准确率和较低的误判率。
[0006]为了实现上述目的，本专利技术的技术方案为：一种基于LV
‑
DBSCAN的大坝安全监测数据异常检测方法，其特征在于：包括如下步骤，
[0007]步骤S1：输入监测数据，使用局部变化系数法LV提取异常点；
[0008]步骤S2：输入监测数据，使用密度聚类算法DBSCAN提取异常点；
[0009]步骤S3：将步骤S1和步骤S2中的异常点取交集，定义为准确异常点，将Step1与Step2差集中的点定义为局部可疑点，将步骤S2与步骤S1差集中的点定义为全局可疑点；
[0010]步骤S4：针对局部可疑点，将步骤S1中局部变化异常系数法中置信区间扩大为α+β，判断可疑点是否还是异常点，若是则将其列为异常数据，否则为正常点；
[0011]步骤S5：针对全局可疑点，将步骤S1中局部变化异常系数法中置信区间缩小为α
‑
β，判断可疑点是否为异常点，若是则将其列为异常数据，否则为正常点；
[0012]步骤S6：综合步骤S3
‑
步骤S5中所有异常点，至此实现异常检测。
[0013]在上述技术方案中，在步骤S1中，使用局部变化系数法LV提取异常点，具体包含以
下步骤：
[0014]步骤S11：假设一组原始监测数据序列{x1,x2,
…
x
t
‑
k
,
…
,x
t
‑1}，待检测数据为x
t
；根据历史数据的变化规律，选取的阈值为{b
U
，b
L
}；
[0015]步骤S12：计算待检测值x
t
处变化率x
′
t
＝(x
t
‑
x
t
‑
i
)/Δt，若x
t
‑
i
判定为异常值，则取x
t
‑
i
‑1计算变化率x
′
t
，直至i+1&gt;m，m为窗口宽度，若窗口内无数据或均为异常数据直接判定待检测值x
t
为正常；
[0016]步骤S13：根据式(1)计算变化率与相应上下阈值b归一化系数P，若P在0到1之间，则判断待测值为正常值，将该正常值的异常系数设定为0，若P大于1或小于0，则判断待测值为异常值，将P作为x
t
的异常系数；
[0017][0018]步骤S14：将t+1时刻数据作为待检测数据，重复步骤S11～S13，即每当有实时数据(待检测值)到来时，即可重复步骤S11～S13，以实现对实时数据的异常检测。
[0019]在上述技术方案中，在步骤S11中，阈值b计算步骤具体如下：
[0020]步骤S111：假设一组原始监测数据序列{x1，x2，
…
，x
t
}，根据x
′
t
＝(x
t
‑
x
t
‑
i
)/Δy计算获取变化率序列{x
′2，x
′3，
…
，x
′
t
}；
[0021]步骤S112：对变化率序列进行频率分析，获取序列概率密度函数f(x
′
)及累积概率分布函数F(x
′
)；频率分析方法使用核密度估计方法；
[0022]步骤S113：根据小概率原理，设定置信度为α，以与分布作为阈值b上下限{b
U
，b
L
}。
[0023]在上述技术方案中，在步骤S12中，窗口长度m建议取30天；施工期观测频次高，可适当缩短，运行期测值相对稳定可适当提高。
[0024]在上述技术方案中，在步骤S2中，使用密度聚类算法提取异常点，具体包含以下步骤：
[0025]步骤S21：从一个未被访问的任意数据点开始，这个点的邻域是用距离epsilon来定义(即该点ε距离范围内的所有点都是邻域点)，如果在该邻域内有足够数量的点(即minPoints)，则聚类过程开始，并且当前数据点成为新簇中的第一个点；否则，该点将被标记为噪声；在这两种情况下，该点都会被标记为“已访问”；
[0026]步骤S22：对于新簇中的第一个点，它的ε距离邻域内的点也会成为同簇的一部分；这个过程使ε邻域内的所有点都属于同一个簇，然后对添加到簇中的所有新点重复上述过程；
[0027]步骤S23：重复步骤S21
‑
步骤S22，直到所有点被标记为已访问停止；
[0028]步骤S24：将聚类结果中存在数据量占比小于5％的簇和噪声点判定为异常数据，其余为正常数据。
[0029]与现有技术相比，本专利技术具有如下优点：
[0030](1)本专利技术统筹考虑数据整体和局部特性，融合了LV方法和DBSCAN方法的优势，具有较好的异常检测效果；
[0031](2)本专利技术所提局部方法与整体方法协同判别时主要依赖于局部变化异常系数法，通过修改置信度本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于LV
‑
DBSCAN的大坝安全监测数据异常检测方法，其特征在于：包括如下步骤，步骤S1：输入监测数据，使用局部变化系数法LV提取异常点；步骤S2：输入监测数据，使用密度聚类算法DBSCAN提取异常点；步骤S3：将步骤S1和步骤S2中的异常点取交集，定义为准确异常点，将Step1与Step2差集中的点定义为局部可疑点，将步骤S2与步骤S1差集中的点定义为全局可疑点；步骤S4：针对局部可疑点，将步骤S1中局部变化异常系数法中置信区间扩大为α+β，判断可疑点是否还是异常点，若是则将其列为异常数据，否则为正常点；步骤S5：针对全局可疑点，将步骤S1中局部变化异常系数法中置信区间缩小为α
‑
β，判断可疑点是否为异常点，若是则将其列为异常数据，否则为正常点；步骤S6：综合步骤S3
‑
步骤S5中所有异常点，至此实现异常检测。2.根据权利要求1所述的基于LV
‑
DBSCAN的大坝安全监测数据异常检测方法，其特征在于：在步骤S1中，使用局部变化系数法LV提取异常点，具体包含以下步骤：步骤S11：假设一组原始监测数据序列{x1,x2,
…
x
t
‑
k
,
…
,x
t
‑1}，待检测数据为x
t
；根据历史数据的变化规律，选取的阈值为{b
U
，b
L
}；步骤S12：计算待检测值x
t
处变化率x
′
t
＝(x
t
‑
x
t
‑
i
)/Δt，若x
t
‑
i
判定为异常值，则取x
t
‑
i
‑1计算变化率x
′
t
，直至i+1&gt;m，m为窗口宽度，若窗口内无数据或均为异常数据直接判定待检测值x
t
为正常；步骤S13：计算变化率与相应上下阈值b归一化系数P，若P在0到1之间，则判断待测值为正常值，将...

【专利技术属性】
技术研发人员：戴领，王汉辉，吴俊东，彭绍才，李少林，刘光彪，纪传波，段国学，郑栋，
申请(专利权)人：长江勘测规划设计研究有限责任公司，
类型：发明
国别省市：