一种基于无监督叠加集成的供水管网爆管检测与识别方法技术

本发明专利技术提供了一种基于无监督叠加集成的供水管网爆管检测与识别方法，旨在对供水管网由管网爆管和监测系统发生故障引起的异常情景进行检测与识别，同时对异常监测数据进行清洗

【技术实现步骤摘要】
一种基于无监督叠加集成的供水管网爆管检测与识别方法


[0001]本专利技术属于城市供水管网爆管检测领域，尤其涉及一种基于无监督叠加集成的供水管网爆管检测与识别方法
。

技术介绍

[0002]爆管是供水系统的一种主要失水形式，尽管持续时间短但失水量大
。
爆管不仅会造成大量水资源浪费，也会导致管网压力下降影响正常供水
。
此外，管道破裂后也容易发生污染物入侵从而影响饮用水水质
。
爆管检测方法能够帮助供水公司及时发现爆管，从而对爆管进行修复减少爆管的危害
。
[0003]研究人员提出了各种爆管检测方法，由于数据采集和监控
(SCADA)
系统的大量使用，基于数据驱动的方法得到了广泛使用
。
根据检测原理可以分为基于分类的方法
、
基于预测的方法和基于统计的方法
。
基于分类的方法利用历史爆管数据对模型进行训练，然后对爆管进行检测，但是这种方法需要大量的历史爆管数据
。
基于预测的方法则是利用正常的监测数据对模型进行训练，然后利用模型预测值来检测实时监测数据是否出现异常
。
基于统计的方法则是将历史监测数据与实时监测数据进行比较，如果实时监测数据超过阈值则进行报警
。
考虑到基于预测的方法受预测精度的影响，可能会出现虚假报警的情况
。
而基于统计的方法只利用现有数据特征对爆管进行检测，省略了预测过程从而显著提高了爆管检测精度
。
各种基于统计的方法得到了广泛应用，例如利用供水管网中多个传感器流量监测数据之间的相似性
(
或不相似性
)
对爆管进行检测
。
该方法将不同传感器的流量监测数据转换为向量，利用爆管诱导的向量与其他正常向量的较低的相似度来识别爆管
。
此外，基于相似性的方法消除了非平稳情况
(
例如天气
、
节日和季节变化
)
对检测性能的影响
。
与流量传感器昂贵的价格相比，压力传感器在供水管网中得到了广泛应用
。
当管网发生爆管时通常会引起管网各个节点压力的突然下降，因此大多数研究基于压力监测值中的异常值对爆管进行监测
。
一旦发现压力传感器的监测值与同时期历史数据相比显著下降时，则发出爆管预警
。
例如使用干扰提取和独立森林集成技术，从现有的压力监测数据中提取出爆管特征
。
[0004]这些方法都将爆管检测看作异常检测，尽管取得了良好的检测性能，但是并没有考虑异常监测数据的影响
。
上述方法在监测数据质量较差时其爆管检测的准确性可能会受到怀疑
。
此外，这些方法不能区分坏数据和爆管事件数据，也不能识别各种类型的
SCADA
故障
。
在实际中除了爆管会导致异常值出现外，
SCADA
系统本身的故障也会导致异常值的出现
。SCADA
系统从多个传感器收集数据，然后传输到控制中心或应用程序
。
通常，传感器会采集得到正确的数据，但是当传感器发生故障或者出现通信故障时，则会导致监测数据出现错误
。
此外，网络攻击也可能导致监测数据出现异常
。
显然，如果爆管检测方法没有考虑异常值的影响，一旦
SCADA
系统监测数据出现异常则会对爆管检测结果造成误导，出现大量虚假报警的情况
。
长此以往，则会使供水公司对爆管检测系统的准确性产生怀疑，从而限制了该方法在实际中的应用
。
一方面，当监测数据出现异常时会对爆管检测精度造成影响
。
另一方面，如果不能对异常的监测数据进行识别与清洗，这些数据导入数据库后会对后续的爆
管检测造成影响
。
考虑到天气和季节变化对用水需求的影响，历史监测值需要不定期更新，将最新的监测数据添加到历史数据库中来替换比较老的历史监测数据
。
在添加最新监测数据时需要对其中的异常值进行清洗，确保历史监测数据能够准确反映管网的正常运行工况
。
考虑到对供水管网的监测是一个一直持续的过程，对历史数据库的更新以及对最新监测数据的清洗也应是在线过程
。
同时，应使数据更新和清洗过程效率较高
。

技术实现思路

[0005]针对上述问题，本专利技术的目的在于提出一种基于无监督叠加集成的供水管网爆管检测与识别方法，该方法在对爆管进行检测时考虑了异常监测数据的影响，当实时监测数据出现异常值时根据异常识别模块的报警情况对爆管和监测系统故障进行区分，确定异常值的类型和持续时间，同时对异常监测数据进行清洗
。
[0006]为了实现上述的技术特征，本专利技术的目的是这样实现的：一种基于无监督叠加集成的供水管网爆管检测与识别方法，其特征在于，包括如下步骤：
[0007]步骤
(1)
：利用
EPANET
对管网模型进行水力模拟，得到供水管网正常工况和异常工况下各个压力监测点的压力监测数据；
[0008]步骤
(2)
：构建供水管网爆管检测与异常识别框架，该框架包含4个异常检测模块：
(a)
单点异常检测模块；
(b)
单点定性检测模块；
(c)
监测点自身序列模块；
(d)
监测点之间序列模块；
[0009]步骤
(3)
：准备训练数据，对各个异常检测模块进行训练，确定各个模块的阈值；
[0010]步骤
(4)
：利用异常检测框架对各种异常情景进行检测，得到管网爆管和监测点发生故障的情况
。
[0011]优选的，步骤
(1)
具体包括如下步骤：
[0012]步骤
(1.1)
，利用
EPANET
对管网进行水力模拟，得到管网正常工况下各个压力监测点的压力监测数据，如下式所示：
[0013][0014]式中，表示管网正常工况下压力监测点
k1在第0天
t
时刻的压力监测数据，
[0015]表示管网正常工况下压力监测点
k
n
在第
n
d
天
t
时刻的压力监测数据；
[0016]步骤
(1.2)
，利用
EPANET
对管网各个管道发生爆管的情况进行水力模拟，得到管网发生爆管时各个压力监测点的压力监测数据，如下式所示：
[0017][0018]式中，表示管网管道
pipe1发生爆管后压力监测点
k1在
t
时刻的压力监测数据；表示管本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种基于无监督叠加集成的供水管网爆管检测与识别方法，其特征在于，包括如下步骤：步骤
(1)
：利用
EPANET
对管网模型进行水力模拟，得到供水管网正常工况和异常工况下各个压力监测点的压力监测数据；步骤
(2)
：构建供水管网爆管检测与异常识别框架，该框架包含4个异常检测模块：
(a)
单点异常检测模块；
(b)
单点定性检测模块；
(c)
监测点自身序列模块；
(d)
监测点之间序列模块；步骤
(3)
：准备训练数据，对各个异常检测模块进行训练，确定各个模块的阈值；步骤
(4)
：利用异常检测框架对各种异常情景进行检测，得到管网爆管和监测点发生故障的情况
。2.
根据权利要求1所述一种基于无监督叠加集成的供水管网爆管检测与识别方法，其特征在于，步骤
(1)
具体包括如下步骤：步骤
(1.1)
，利用
EPANET
对管网进行水力模拟，得到管网正常工况下各个压力监测点的压力监测数据，如下式所示：式中，表示管网正常工况下压力监测点
k1在第0天
t
时刻的压力监测数据，表示管网正常工况下压力监测点
k
n
在第
n
d
天
t
时刻的压力监测数据；步骤
(1.2)
，利用
EPANET
对管网各个管道发生爆管的情况进行水力模拟，得到管网发生爆管时各个压力监测点的压力监测数据，如下式所示：式中，表示管网管道
pipe1发生爆管后压力监测点
k1在
t
时刻的压力监测数据；表示管网管道
pipe
P
发生爆管后压力监测点
k
n
在
t
时刻的压力监测数据；步骤
(1.3)
，考虑监测点发生故障的情况，向供水管网正常工况下的压力监测数据中添加部分错误数据，得到监测点发生故障情况下的压力监测数据，考虑了以下几种情况：
(a)
异常监测值；
(b)
数据延迟；
(c)
监测点编号错误
。3.
根据权利要求1所述一种基于无监督叠加集成的供水管网爆管检测与识别方法，其特征在于，步骤
(2)
具体包括如下步骤：步骤
(2.1)
，构建四个异常检测模块，对各个压力监测点压力监测数据中的单点异常和时间序列异常进行检测，检测到供水管网实时监测数据中的异常值，实现异常检测；步骤
(2.2)
，如果检测到供水管网的实时监测数据存在异常值，则根据四个异常检测模块的报警情况对各种供水管网各种异常情景进行区分，对供水管网发生爆管和监测系统出现故障的情况进行准确区分
。
4.
根据权利要求3所述一种基于无监督叠加集成的供水管网爆管检测与识别方法，其特征在于，所述步骤
(2.1)
具体包括：步骤
(2.1.1)
，单点异常检测模块研发：单点异常检测模块主要是对单个异常监测数据进行检测，为了提高单点异常检测的精度，对多种机器学习算法进行了集成，单点异常检测模块分为三层：
(a)
第一层为独立森林算法；
(b)
第二层为
K
‑
均值聚类和局部异常值概率算法；
(c)
第三层为
K
‑
均值聚类和局部异常值概率算法输出结果的集成；对于监测点
k
i
，单点异常识别模块的输入数据为：式中：为监测点
k
i
在第
n
d
天
t
时刻的监测值；首先，将
p(k
i
)
输入到独立森林算法中，得到各个
p
t
(k
i
)
的异常得分：的异常得分：式中，表示
p(k
i
)
中第
i
个观测值的异常得分
,i
＝
0,1,
…
,n
d
，，为二进制搜索树中搜索不成功的平均路径长度，
e
，
Tr
为树的总数，是观测值的路径长度，是的平均值；在得到各个监测点的各个实时监测数据的异常得分后，将各个实时监测数据的异常得分作为输入，进入单点异常检测模块的第二层，分别在
K
‑
均值聚类和局部异常值概率算法中得到各个异常得分的异常检测结果；在
K
‑
均值聚类中，对
s
t
(k
i
)
中的各个异常得分进行聚类，得到二进制数据，如果正常则为0，如果异常则为1；在
K
‑
均值聚类中，初始聚类列表为每个被分到与其平方欧式距离最近的聚类中：式中：为第
i
个聚类；
s
p
为各个异常得分的数据集；为第
i
个监测点在
t
数时刻的监测值；为第
j
个监测点在
t
数时刻的监测值；
k
为监测点总的数量；
j
为监测点的编号；
t
为各个监测点采集数据的时刻；然后，采用下式对每个聚类进行更新：式中：
s
j
为该聚类内的各个异常得分分数；为
t
时刻的第
i
个聚类；为第
i
个聚类在
t+1
时刻的聚类中心；
x
j
为聚类
C
i
内第
j
个异常得分的值；
从形式上讲，目标是得到下式所示的关系：式中，
ρ
为各个聚类的中心，
VarC
i
为聚类
C
i
内各个异常得分的方差，
s
为聚类
C
i
内各个监测数据的异常得分，
C
i
为第
i
个聚类，
Ξ
i
是
C
i
中各点的平均值，即最小化相同聚类中各个监测值的成对平方偏差：设
C
为
K
‑
均值聚类算法的输出，
C
为一组大小为
n
d
+1
的聚类标签，
C
i
＝1或
x
和
y
均为聚类内的监测值，
k
为监测值点总的数量；在局部异常值概率算法中，得到各个监测值异常得分的概率，各个的概率由从到参考点
R
的标准距离得到：式中，表示和
r
之间的距离度量，采用欧几里得距离；点
s
i
到参考点
R
的概率集距离具有“显著性”λ
，定义为：然后，使用最近邻作为参考集，最近邻是由独立森林算法得到的观测值之间最近的欧式距离，对于给定的领域大小
k
和显著性
λ
，监测值的概率局部异常因子
PLOF
定义为：最后，计算得到成为局部异常值的概率：设
L
为局部异常值概率算法的输出，为一组长度为
n
d
+1
的概率；
l
i
表示第
i
个成为异常值的概率，
0≤l
i
≤1
；在得到各个异常得分的聚类结果和成为异常值的概率后，进入单点异常检测模块的第三层，根据
K
‑
均值聚类和局部异常值概率算法的输出结果，最终得到各个实时监测数据
s
t
(k
i
)
成为异常值的概率，第
i
个观测值
s
t
(k
i
)
成为异常值的概率为：
P
i
＝
C
i
·
l
i
；在
K
‑
均值聚类中，聚类的个数
K
＝2，
K
‑
均值聚类将所有监测值分为正常和异常两组，由于它最小化了平方和，从而避免给不同于正常数据的监测值增加更多的权重，将正常数据分到同一个聚类中，然而，在第二个分组中，可能将正常数据或者小的变化看作是离群值，正常数据标记为0，异常数据标记为1，因此，
c
i
＝0表示正常数据，
c
i
＝1表示异常值，另外，接近0的
l
i
表示正常数据，通过将
K
‑
均值聚类结果与局部异常值概率算法结果相乘，避免了将正态数据...

【专利技术属性】
技术研发人员：胡祖康，陈先明，张俊，周小国，陈文然，汪雨恬，李忠明，
申请(专利权)人：长江生态环保集团有限公司，
类型：发明
国别省市：