一种基于强化学习的燃气表端异常流量识别系统技术方案

本发明专利技术提供一种基于强化学习的燃气表端异常流量识别系统。所述系统采用强化学习框架，包括作为智能体的决策模块、特征提取模块和价值生成模块；特征提取模块基于燃气表端输出的状态数据序列进行特征向量提取，决策模块输出表示燃气流量是否正常的决策值，每个决策值用作智能体执行的一个动作；价值生成模块输出决策值创造的价值；以所述价值作为期望收益，通过强化学习获得最大期望收益。本发明专利技术通过采用强化学习框架，不需要对数据进行人工筛选和标注，仅需调用燃气表端自有数据和燃气经营主体自有的历史数据进行模型训练，即可对燃气表端是否出现异常流量进行识别。气表端是否出现异常流量进行识别。气表端是否出现异常流量进行识别。

【技术实现步骤摘要】
一种基于强化学习的燃气表端异常流量识别系统


[0001]本专利技术属于用气量监测
，具体涉及一种基于强化学习的燃气表端异常流量识别系统。

技术介绍

[0002]用户燃气表用于计量用户燃气消耗量，是民生计量中最为主要的计量器具之一。目前，燃气管道破损与超压/欠压、胶管老化与脱落引发的燃气泄漏，用气设备故障/损坏，自身计量失准等现象，均直接体现为燃气表端的异常流量显示读数。显然，伴随着燃气用户数量逐年增长，在流行性疫情等事件对广大用户生产生活的冲击下，上述情况不仅增加了燃气运营商的经营成本，造成了燃气用户的财产损失，也为双方带来了不容忽视的安全隐患。因此，有效识别用户燃气表端异常流量，方可及时采取措施，确保燃气企业和居民燃气用户的切身权益。
[0003]现有异常流量检测技术主要包括以下几种：一种是基于规则/阈值的方法，即对燃气在计量表端的瞬时流量或某一时间段内的累积流量，根据行业经验预设一个超限值或超限范围，当表端所测数据超出这一预设值或范围时，即识别为异常流量。这一方法计算简洁明了，对于识别结果的可解释性强；但识别规则较为单一和刻板，无法随着用户习惯的演变和燃气表服役时间的增长进行识别规则的自动更新。另一种是基于多变量分类的方法，即将流量的正常/异常状态识别等价为一个正常/异常的二分类问题，用表端读取的流量、压损、甚至表端传感器检测到的可燃气体浓度、环境温度等多元变量作为输入特征，训练出一个二分类模型(如支撑向量机、多层感知机等)对正常/异常流量进行识别。这一方法充分地利用了现有数据，但需要反复观察、检索、核对、标注大量的训练样本以供模型进行学习，甚至需要大量的人员入户操作。

技术实现思路

[0004]为了解决现有技术中存在的上述问题，本专利技术提供一种基于强化学习的燃气表端异常流量识别系统。
[0005]为了实现上述目的，本专利技术采用以下技术方案。
[0006]一种基于强化学习的燃气表端异常流量识别系统，所述系统采用强化学习框架，包括作为智能体的决策模块、特征提取模块和价值生成模块；决策模块和特征提取模块的输入为燃气表端输出的状态数据序列，特征提取模块基于所述状态数据序列进行特征向量提取，决策模块输出表示燃气流量是否正常的决策值，每个决策值用作智能体执行的一个动作；决策模块输出的决策值与特征提取模块输出的特征向量融合后输入至价值生成模块，价值生成模块输出决策值创造的价值；以所述价值作为期望收益，通过强化学习获得最大期望收益。
[0007]进一步地，所述燃气表端输出的状态数据序列为：
[0008]S
T
＝{s1,s2,
…
,s
t
,
…
,s
T
}
[0009]式中，S
T
为状态数据序列，s
t
为第t个数据采集周期的状态数据，t＝1,2,
…
,T，T为状态数据序列长度。
[0010]更进一步地，所述s
t
至少包括瞬时流量、固定时间内的平均流量、燃气压力、环境燃气体浓度、瞬时环境温度及固定时间内的环境平均温度。
[0011]更进一步地，所述决策模块由第一递归神经网络组成，其输出决策值的计算方法包括：
[0012]设置第一递归神经网络的初始隐变量h0为全0向量；
[0013]按下式计算第t个隐变量h
t
：
[0014]h
t
＝f1(U
A
s
t
‑1+W
A
h
t
‑1+b
A
)
[0015]式中，U
A
、W
A
、b
A
为可训练参数，f1()为激活函数，t＝1,2,
…
,T；
[0016]按下式计算决策模块输出的决策值：
[0017]α＝f1(V
A
h
T
+c
A
)
[0018]式中，α为决策值，V
A
、c
A
为可训练参数。
[0019]更进一步地，所述特征提取模块由第二递归神经网络组成，其输出特征向量的计算方法包括：
[0020]设置第二递归神经网络的初始隐变量e0为全0向量；
[0021]按下式计算第t个隐变量e
t
：
[0022]e
t
＝f2(U
F
s
t
‑1+W
F
e
t
‑1+b
F
)
[0023]式中，U
F
、W
F
、b
F
为可训练参数，f2()为激活函数，t＝1,2,
…
,T；
[0024]按下式计算特征提取模块输出的特征向量：
[0025][0026]式中，f
T
为特征提取模块输出的特征向量。
[0027]更进一步地，所述第一递归神经网络和第二递归神经网络为长短期记忆网络。
[0028]更进一步地，所述激活函数f1()、f2()为sigmoid或ReLU函数。
[0029]进一步地，所述决策模块输出的决策值α插入特征提取模块输出的特征向量f
T
的首位，得到融合向量[α,f
T
]。
[0030]更进一步地，所述价值生成模块的输出Q
T
为：
[0031]Q
T
＝W
Q
[α,f
T
]+b
Q
[0032]式中，W
Q
、b
Q
为可训练参数。
[0033]更进一步地，所述识别系统采用随机梯度下降法进行优化，优化目标函数为：
[0034][0035]式中，G
T
为价值生成模块的目标真值，计算方法包括：
[0036]若S
T
覆盖的时间段内的日常运维记录与决策模块输出一致，则：
[0037][0038]若S
T
覆盖的时间段内的日常运维记录与决策模块输出不一致，则：
[0039][0040]式中，L
T
为当前时刻燃气表端的服役时间，Y为最长使用寿命，R为当前时刻燃气表端的累计充值收益。
[0041]与现有技术相比，本专利技术具有以下有益效果。
[0042]本专利技术所述系统采用强化学习框架，包括作为智能体的决策模块、特征提取模块和价值生成模块，决策模块输出用作智能体执行动作的表示燃气流量是否正常的决策值，特征提取模块输出提取的特征向量，价值生成模块以所述决策值和所述特征向量的融合向量为输入，输出决策值创造的价值，以所述价值作为期望收益，通过强化学习获得最大期望收益。本专利技术所述系统通过采用强化学习框架，不需要对数据本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于强化学习的燃气表端异常流量识别系统，其特征在于，所述系统采用强化学习框架，包括作为智能体的决策模块、特征提取模块和价值生成模块；决策模块和特征提取模块的输入为燃气表端输出的状态数据序列，特征提取模块基于所述状态数据序列进行特征向量提取，决策模块输出表示燃气流量是否正常的决策值，每个决策值用作智能体执行的一个动作；决策模块输出的决策值与特征提取模块输出的特征向量融合后输入至价值生成模块，价值生成模块输出决策值创造的价值；以所述价值作为期望收益，通过强化学习获得最大期望收益。2.根据权利要求1所述的基于强化学习的燃气表端异常流量识别系统，其特征在于，所述燃气表端输出的状态数据序列为：S
T
＝{s1,s2,
…
,s
t
,
…
,s
T
}式中，S
T
为状态数据序列，s
t
为第t个数据采集周期的状态数据，t＝1,2,
…
,T，T为状态数据序列长度。3.根据权利要求2所述的基于强化学习的燃气表端异常流量识别系统，其特征在于，所述s
t
至少包括瞬时流量、固定时间内的平均流量、燃气压力、环境燃气体浓度、瞬时环境温度及固定时间内的环境平均温度。4.根据权利要求3所述的基于强化学习的燃气表端异常流量识别系统，其特征在于，所述决策模块由第一递归神经网络组成，其输出决策值的计算方法包括：设置第一递归神经网络的初始隐变量h0为全0向量；按下式计算第t个隐变量h
t
：h
t
＝f1(U
A
s
t
‑1+W
A
h
t
‑1+b
A
)式中，U
A
、W
A
、b
A
为可训练参数，f1()为激活函数，t＝1,2,
…
,T；按下式计算决策模块输出的决策值：α＝f1(V
A
h
T
+c
A
)式中，α为决策值，V
A
、c
A
为可训练参数。5.根据权利要求4所述的基于强化学习的燃...

【专利技术属性】
技术研发人员：王铁强，汪建平，龙龙，孙俊芳，王倩微，王勋，刘兴伟，陈婷婷，
申请(专利权)人：北京市燃气集团有限责任公司，
类型：发明
国别省市：