基于机器学习和动态阈值的燃气流量异常检测方法及系统技术方案

本发明专利技术公开了一种基于机器学习和动态阈值的燃气流量异常检测方法及系统。该方法首先对燃气流量计上传的标况累积流量数据进行重采样、插值、差分等操作，构建标况流量增量序列数据集，通过在流量使用特征中融合日期信息加强对特征的提取，并使用卷积自编码网络技术挖掘流量使用特征。最后根据卷积自编码网络生成标况流量增量重构序列，使用动态重构误差阈值技术完成对流量异常值的检测。本发明专利技术基于燃气流量使用数据，通过机器学习方法提取燃气流量使用特征，并基于该特征完成流量异常值检测，具有精度高、可扩展性强等特点，可以即使捕捉异常信息，为相关人员提供指导。为相关人员提供指导。为相关人员提供指导。

【技术实现步骤摘要】
基于机器学习和动态阈值的燃气流量异常检测方法及系统


[0001]本专利技术涉及数据异常检测领域，尤其涉及一种基于机器学习和动态阈值的燃气流量异常检测方法及系统。

技术介绍

[0002]随着经济社会的不断发展和进步，在绿色环保理念的推动下，使用绿色清洁能源的理念越来越深入人心。其中，天然气的计量发展和使用是当下社会经济发展和提升环境质量，推动绿色环保的必然要求和重要趋势。相比较传统的煤炭污染，天然气不论是作为能源的优势还是在绿色环保方面都脱颖而出。正是由于天然气这种明显优势，它被广泛地应用在社会发展中的各行各业。
[0003]因表具故障或者人为因素，会导致燃气流量计的流量出现异常，及时发现这类异常可以及时进行巡检干预。传统的针对流量的异常检测方法往往只是简单的通过设定阈值进行异常的检测，其中阈值的设定需要专业人员参与。然而传统的异常检测方法并不能发现流量序列中存在的深层次的异常信息。另一方面，针对不同的表具数据，传统的异常检测方法设定的阈值往往是固定的，并不能针对特定的使用情况进行自动调整，因此传统检测方法可能存在更大的偏差。
专本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于机器学习和动态阈值的燃气流量异常检测方法及系统，其特征在于，包括以下步骤：S1、对所有燃气用户的燃气流量计上传的标况累计流量序列分别进行均值重采样，并以线性插值方式填充空缺值，再对标况累计流量重采样序列进行一阶差分，得到不同燃气流量计各自对应的标况流量增量序列；S2、针对S1中得到的所有标况流量增量序列，分别以天为单位从中提取出日增量序列X
i
，并针对每条日增量序列生成时间信息编码C
i
，每条日增量序列以及对应的时间信息编码构成一个训练样本；任意一天的时间信息编码包括这一天属于星期几的第一编码信息以及这一天是否为节假日的第二编码信息；S3、利用S2中得到的训练样本集合，以基于一维卷积的自编码网络模型为机器学习模型进行训练，使其能够以日增量序列和时间信息编码为输入，生成重构序列；所述基于一维卷积的自编码网络模型由第一CNN卷积层、池化层、上采样层、第二CNN卷积层、第三CNN卷积层和全连接层级联而成；S4、针对目标燃气用户和需要进行异常检测的目标时段，从其对应的燃气流量计上传的数据中提取并处理生成目标时段内的标况流量增量序列；将目标时段内的标况流量增量序列按照与所述训练样本相同的构建方式生成其中每一天的日增量序列和时间信息编码，再通过S3训练后得到的自编码网络模型生成目标时段内的重构序列；计算目标时段内的重构序列与目标时段内的标况流量增量序列之间的误差序列，利用固定长度的滑窗对误差序列进行扫描，每个滑窗内分别通过指数加权移动平均误差分布进行动态阈值检测，判断是否存在超过动态阈值的序列异常值，若存在则视为在异常值对应时刻存在燃气流量异常情况。2.如权利要求1所述的基于机器学习和动态阈值的燃气流量异常检测方法及系统，其特征在于，所述S1具体包括以下子步骤：S11、获取每个燃气用户的燃气流量计采集的原始标况累计流量序列，并对其进行均值重采样，生成具有固定间隔Δt的重采样流量序列m为重采样之后的序列长度；均值重采样过程中将原始序列中流量值缺失的重采样点置为空值；S12、对S11中得到的重采样流量序列Q中的空值点通过线性插值进行补全，以空值点两侧的流量值均值填充至空值点，从而得到重采样流量插值序列Q
′
；S13、对S12得到的重采样插值序列Q
′
进行一阶差分，得到标况流量增量序列D＝(d1,d2,
…
,d
m
)，其中d
j
为流量计在一个重采样时间间隔内的标况累计流量增加量，j＝1,2,
…
,m；所有燃气用户的标况流量增量序列D构成序列数据集。3.如权利要求1所述的基于机器学习和动态阈值的燃气流量异常检测方法及系统，其特征在于，所述S2具体包括以下子步骤：S21、针对序列数据集中的每一条标况流量增量序列，以天为单位从中提取一系列长度为h的日增量序列，日期i对应的日增量序列为X
i
；S22、针对S21中提取的每条日增量序列X
i
，判断其对应的日期i属于星期几以及是否为节假日，然后通过独热编码生成有日期i属于星期几的第一编码信息以及日期i是否为节假日的第二编码信息组成的时间信息编码C
i
；
S23、将每条日增量序列X
i
以及对应的时间信息编码C
i
构成一个训练样本，所有训练样本构成训练样本集合。4.如权利要求1所述的基于机器学习和动态阈值的燃气流量异常检测方法及系统，其特征在于，所述S3具体包括以下子步骤：S31、将训练样本集合中的训练样本输入基于一维卷积的自编码网络模型中，对于任一训练样本其中维度1
×
h的日增量序列X
i
先输入至第一CNN卷积层中，使用u个宽度为l1的一维卷积核和u个宽度为l2的一维卷积核分别对其进行卷积操作；其中一个宽度为l的一维卷积核的卷积操作过程表示为：其中，l＝l1或l2；为第一CNN卷积层中宽度为l的一维卷积核的输出，其维度为1
×
h；是宽度为l的一维卷积核进行卷积操作时的可学习参数矩阵，为偏置项参数，f为Relu激活函数；将第一CNN卷积层中2u个一维卷积核的卷积结果进行组合，得到2
×
h的第一卷积结果；S32、将S31中得到的第一卷积结果输入至池化层中，进行最大池化操作后再输入至上采样层中进行上采样操作，输出2
×
h的上采样结果O
s
；S33、将S32中上采样操作输出的上采样结果O
s
输入至第二CNN卷积层中，使用u个宽度为l1的一维卷积核和u个宽度为l2的一维卷积核分别对O
s
进行卷积操作；其中一个宽度为l的一维卷积核的卷积操作过程表示为：其中，l＝l1或l2；为第二CNN卷积层中宽度为l的一维卷积核的输出，其维度为1
×
h；是宽度为l的一维卷积核进行卷积操作时的可学习参数矩阵，为偏置项参数，f为Relu激活函数；将第二CNN卷积层中2u个一维卷积核的卷积结果进行组合，得到2
×
h的第二卷积结果S34.将S33中得到的第二卷积结果输入至第三CNN卷积层中，使用1个宽度为1的一维卷积核对进行卷积操作，过程表示为：其中为第三CNN卷积层的输出，其维度为1
×
h；是宽度为1的一维卷积核进行卷积操作时的可学习参数矩阵，为偏置项参数，f为Relu激活函数；S35、将第三CNN卷积层输出的第三卷积结果和日期信息编码中的第一编码信息第二编码信息拼接，输入至全连接层中，该全连接层的隐藏层单元数为h，过程表示为：
其中为全连接层的输出，即自编码网络模型对每天日增量序列X

【专利技术属性】
技术研发人员：李中阳，孙笑笑，俞东进，黄明，陈鑫，叶春毅，黄博祎，
申请(专利权)人：浙江苍南仪表集团股份有限公司，
类型：发明
国别省市：