一种基于对抗学习的监控视频异常检测方法及系统技术方案

本发明专利技术公开了一种基于对抗学习的监控视频异常检测方法及系统，该方法包括两部分，第一部分将实时视频样本帧送到特征提取网络中，将样本的特征与记忆模块中的特征进行相似度比较，对记忆模块中的特征进行更新与读取，第二部分将从记忆模块中读取的特征与特征读取网络得到的特征进行基于通道的拼接，送入解码器得到重构后的图片，通过重构误差，得到判断此视频序列中视频样本帧正常与否的异常分数。本发明专利技术通过基于初步特征提取网络、深度特征提取分类网络以及全卷积神经网络构建视频异常帧检测模型，然后应用视频异常帧检测模型，完成视频样本帧正常或异常检测，更好地提取视频样本帧中的特征信息，提高视频异常帧检测模型的适应能力。的适应能力。的适应能力。

【技术实现步骤摘要】
一种基于对抗学习的监控视频异常检测方法及系统


[0001]本专利技术涉及视频异常检测
，尤其涉及到基于对抗学习的监控视频异常检测方法及系统。

技术介绍

[0002]得益于现代社会的数字化和信息化，以及人们公共安全意识的提升，监控网络覆盖了人们大部分的生活、工作环境。监控设备被大量应用于城市的各个角落，尤其是各种人流较大的场所，如商场、医院、学校、街道、小区、机场、车站等。这些摄像头产生了海量的视频数据，对这些视频数据中的人体行为进行异常性检测可以有效地对非法闯入、抢劫、盗窃、踩踏、交通事故等异常情况进行实时监控与证据采集。视频监控技术的蓬勃发展与广泛应用在维持经济繁荣中起到了巨大的作用。
[0003]传统的视频监控系统是一种被动型的系统，其主要功能在于对当前发生事件的记录、存储及回放。但是在缺少人工监督的情况下，传统的视频监控系统不能对一些异常事件如打架斗殴、抢劫、火灾等起到识别并及时报警的作用。而仅仅依靠人眼观察监控视频，会消耗大量的人力物力成本，并且随着工作时间的增加，人的精力会出现不同程度的下降，容易出现误检、漏检异常事件的情况。因此，将智能化的监控视频异常检测技术引入监控系统中是未来发展的必然趋势。
[0004]随着深度学习算法近年在计算机视觉领域取得的极大成功，基于深度神经网络的算法逐渐应用到视频异常检测任务中。共衍生出两类方法，分别是基于当前帧重建的异常检测方法和未来帧预测的异常检测方法。基于重建当前帧的方法基于异常帧重建误差大的思想来区分异常帧和正常帧。而基于未来帧预测的方法则是基于异常难以预测的思想来决策未来帧的正常与否。虽然这两种不同的异常检测的方法取得了一些效果，但是其利用代理任务实现异常检测的思想却是有本质缺陷。即不管是重建方法还是预测的方法，其本质是输出一个与真实帧尽可能相似的图像。当网络训练的非常好时，受到其思想缺陷的影响这两类方法对正常帧和异常帧的区分度并不一定高，在一些特殊的场景下，效果较低。

技术实现思路

[0005]本专利技术的主要目的在于提供一种基于对抗学习的监控视频异常检测方法及系统，旨在解决目前现有监控视频异常检测方法的检测准确性和效率不高的技术问题。
[0006]为实现上述目的，本专利技术提供一种基于对抗学习的监控视频异常检测方法，所述方法包括以下步骤：
[0007]S1：获得按时间顺序排列的视频样本帧，以每一帧视频样本帧为起点，按时序选择k帧视频样本帧构建视频样本帧组，作为预测网络的输入；
[0008]S2：基于卷积神经网络，以视频样本帧为输入，以与视频样本帧所对应的特征图为输出，构建预测网络；
[0009]S3：以特征图作为记忆模块网络的输入，以与该特征图同尺度大小的正常样本特
征图为记忆模块网络的输出，在无监督的情况下进行端到端的对抗训练；
[0010]S4：基于预测网络、记忆模块网络构建视频异常帧检测待训练模型，同时基于各视频样本帧的参与训练，以初步特征提取网络至深度特征提取分类网络的应用，通过引入重构，对抗以及记忆损失，构建分类损失模型；
[0011]S5：基于视频样本帧所构建的视频样本帧组，以及各视频样本帧组分别所对应的标签，以视频样本帧为输入，以视频样本帧组分别所对应的标签为输出，结合分类损失模型，针对视频异常帧检测待训练模型进行训练，获得视频异常帧检测模型；
[0012]S6：针对每个视频样本帧组中的每一帧视频样本帧，通过判别器模型根据模型重构得到的重构损失判定视频样本帧组中每一帧视频样本帧正常或异常的异常分数，将异常分数大于预设值的视频样本帧判定为异常视频帧，否则为正常视频帧。
[0013]可选的，所述步骤S2中，预测网络为U
‑
Net编码器。
[0014]可选的，所述步骤S3中，记忆模块网络在训练时采用正常事件样本，在测试时加入异常样本。
[0015]可选的，所述步骤S3中，记忆模块网络包括读取和更新两个操作，当获取一个新的正常样本的特征后，会对记忆模块网络进行读取操作，从中选择和自身最相似的正常样本特征；记忆模块网络会根据新的正常样本特征进行更新。
[0016]可选的，所述步骤S3，包括：
[0017]针对深度特征提取分类网络的输出，得到的尺寸为H
×
W
×
C的特征q
t
。其中H为特征的高，W为特征的宽，C为通道数；
[0018]根据记忆模块网络的匹配算法得到匹配概率最大的特征p
t
，尺寸也为H
ꢀ×
W
×
C；
[0019]将查询到的特征p
t
与提取的特征q
t
进行通道上的拼接得到尺寸为H
×
W
ꢀ×
2C的新特征，以对记忆模块网络进行更新。
[0020]可选的，所述步骤S4，具体包括：
[0021]将连续t帧正常训练样本X＝{x1,x2,
…
,x
t
}送入预测网络；
[0022]预测网络的编码器提取t帧视频帧的特征q
t
，预测网络会根据q
t
与记忆模块中保存的正常样本特征的相似度，从中读取对应的p
t
与q
t
拼接得到特征(q
t
, p
t
)并更新记忆模块网络；
[0023]将特征(q
t
,p
t
)送给预测网络的解码器，最终得到预测的第t+1帧视频帧
[0024]将预测损失、记忆损失、对抗损失采用加权的方式得到整体损失函数Loss。可选的，所述整体损失函数Loss的表达式，具体为：
[0025]Loss＝L
pred
+λ
m
L
mem
+λ
α
L
adv
[0026]其中，λ
m
、λ
α
是用来平衡记忆损失和对抗损失在整个损失函数中所占比重的系数，L
pred
为预测损失，L
mem
为记忆损失，L
adv
为对抗损失。
[0027]此外，为了实现上述目的，本专利技术还提供了一种基于对抗学习的监控视频异常检测系统，所述系统包括：
[0028]样本帧获取模块，获得按时间顺序排列的视频样本帧，以每一帧视频样本帧为起点，按时序选择k帧视频样本帧构建视频样本帧组，作为预测网络的输入；
[0029]预测网络构建模块，基于卷积神经网络，以视频样本帧为输入，以与视频样本帧所对应的特征图为输出，构建预测网络；
[0030]对抗训练模块，以特征图作为记忆模块网络的输入，以与该特征图同尺度大小的正常样本特征图为记忆模块网络的输出，在无监督的情况下进行端到端的对抗训练；
[0031]损失模型构建模块，基于预测网络、记忆模块网络构建视频异常帧检测待训本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于对抗学习的监控视频异常检测方法，其特征在于，所述方法包括以下步骤：S1：获得按时间顺序排列的视频样本帧，以每一帧视频样本帧为起点，按时序选择k帧视频样本帧构建视频样本帧组，作为预测网络的输入；S2：基于卷积神经网络，以视频样本帧为输入，以与视频样本帧所对应的特征图为输出，构建预测网络；S3：以特征图作为记忆模块网络的输入，以与该特征图同尺度大小的正常样本特征图为记忆模块网络的输出，在无监督的情况下进行端到端的对抗训练；S4：基于预测网络、记忆模块网络构建视频异常帧检测待训练模型，同时基于各视频样本帧的参与训练，以初步特征提取网络至深度特征提取分类网络的应用，通过引入重构，对抗以及记忆损失，构建分类损失模型；S5：基于视频样本帧所构建的视频样本帧组，以及各视频样本帧组分别所对应的标签，以视频样本帧为输入，以视频样本帧组分别所对应的标签为输出，结合分类损失模型，针对视频异常帧检测待训练模型进行训练，获得视频异常帧检测模型；S6：针对每个视频样本帧组中的每一帧视频样本帧，通过判别器模型根据模型重构得到的重构损失判定视频样本帧组中每一帧视频样本帧正常或异常的异常分数，将异常分数大于预设值的视频样本帧判定为异常视频帧，否则为正常视频帧。2.如权利要求1所述的基于对抗学习的监控视频异常检测方法，其特征在于，所述步骤S2中，预测网络为U
‑
Net编码器。3.如权利要求1所述的基于对抗学习的监控视频异常检测方法，其特征在于，所述步骤S3中，记忆模块网络在训练时采用正常事件样本，在测试时加入异常样本。4.如权利要求1所述的基于对抗学习的监控视频异常检测方法，其特征在于，所述步骤S3中，记忆模块网络包括读取和更新两个操作，当获取一个新的正常样本的特征后，会对记忆模块网络进行读取操作，从中选择和自身最相似的正常样本特征；记忆模块网络会根据新的正常样本特征进行更新。5.如权利要求1所述的基于对抗学习的监控视频异常检测方法，其特征在于，所述步骤S3，包括：针对深度特征提取分类网络的输出，得到的尺寸为H
×
W
×
C的特征q
t
。其中H为特征的高，W为特征的宽，C为通道数；根据记忆模块网络的匹配算法得到匹配概率最大的特征p
t
，尺寸也为H
×
W
×
C；将查询到的特征p
t
与提取的特征q
t
进行通道上的拼接得到尺寸为H
×
W
×
2C的新特征，以对记忆模块网络进行更新。6.如权利要求1所述的基于对抗学习的监控视频异常检测方法，其特征在于，所述步骤S4，具体包括：将连续...

【专利技术属性】
技术研发人员：甘翼，郑博元，
申请(专利权)人：中国电子科技集团公司第十研究所，
类型：发明
国别省市：