一种基于双分支网络的视频异常检测方法及系统技术方案

本发明专利技术提供了一种基于双分支网络的视频异常检测方法及系统，属于视频处理技术领域。本发明专利技术通过将采用堆叠的ConvLSTM网络作为预测分支和3D卷积网络作为记忆分支的双分支网络，提高了学习正常视频特征的能力、有效的提升了正常视频的预测能力而削弱了异常视频的预测能力，解决了深度网络泛化能力过强而导致预测的异常帧与其真值之间的误差较小的问题。预测的异常帧与其真值之间的误差较小的问题。预测的异常帧与其真值之间的误差较小的问题。

【技术实现步骤摘要】
一种基于双分支网络的视频异常检测方法及系统


[0001]本专利技术属于视频处理
，尤其涉及一种基于双分支网络的视频异常 检测方法及系统。

技术介绍

[0002]随着监控视频数量的急剧增加，人工监控由于耗费大量人力、财力不再适 用监控视频领域。因此，开发一种实时监控系统，实现对监控视频中异常模式 的智能检测，是一项紧迫的任务。从模型训练的角度来说，异常模式是一种少 见且不同于正常模式的模式。从异常模式的定义角度来说，异常的种类繁多、 发生的概率较低并很分散，并且在一个场景中被定义为异常的模式在另一个场 景中可能是视作正常的。因此，现有的大多数数据集中的训练集只存在正常模 式标签，很少有标签来标记异常模式。由于异常模式的稀疏性和异常模式标签 数据的缺乏，用单一的分类方法很难完成异常检测任务，因此，当前的主流方 法是以无监督的方式在正常视频中学习正常事件模式，目的是使用不包含异常 模式的训练集学习描述正常模式的模型，在测试阶段，异常模式是指外观和运 动模式的变化与训练中观察到的常规模式不一致的模式。
[0003]目前，大多数现有算法使用本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于双分支网络的视频异常检测方法，其特征在于，包括以下步骤：S1、将正常视频的连续t帧分别作为预测分支和记忆分支的输入；S2、通过所述记忆分支利用3D卷积神经网络学习正常视频流的特征信息，并计算得到特征分离损失和特征紧凑损失；S3、通过所述预测分支利用2D卷积神经网络提取视频帧的外观特征，并根据外观特征，利用ConvLSTM提取上下文信息得到细胞状态和隐藏状态；S4、根据步骤S2学习的正常视频流的特征信息，以及步骤S3得到的细胞状态和隐藏状态生成新的正常视频特征，并根据所述新的正常视频特征利用解码器生成未来帧；S5、利用所述未来帧的均方预测损失、特征分离损失和特征紧凑损失对模型进行训练；S6、根据训练后的模型，利用未来帧的均方预测损失计算异常得分，并根据异常得分判别帧是否异常，完成视频异常的检测。2.根据权利要求1所述的基于双分支网络的视频异常检测方法，其特征在于，所述步骤S2包括以下步骤：S201、通过3D卷积神经网络利用6个3D卷积操作对正常视频的连续t帧进行特征提取，得到时空特征其中，Z
M
表示时空特征，z
lM
表示局部特征，用作寻址，且z
lM
∈R
c
，R
c
表示长度为通道数c的向量，R
w
×
h
×
c
表示时空特征的尺寸，w表示时空特征的宽度，h表示时空特征的长度，l表示局部特征的数量；S202、基于所述记忆分支，初始化s个记忆向量为并根据局部特征z
lM
和记忆向量m
i
，计算得到记忆特征F
mem
；S203、利用两层反卷积对所述记忆特征F
mem
进行卷积操作，得到新的记忆特征S204、计算得到局部特征z
lM
与记忆向量m
i
间的特征分离损失和特征紧凑损失。3.根据权利要求2所述的基于双分支网络的视频异常检测方法，其特征在于，所述步骤S202中记忆特征F
mem
的表达式如下：的表达式如下：的表达式如下：其中，F
mem
表示记忆特征，f
lmem
表示局部记忆特征，w'表示记忆特征的宽度，h'表示记忆特征的高度，l表示局部记忆特征的数量，R'
w
'
×
h'
×
c
'表示记忆特征的尺寸，a
l
‑
i
表示局部特征z
lM
与第i个记忆向量间的寻址向量，m
i
表示记忆向量M中的第i个记忆向量，(m
i
)
T
表示m
i
的转置，c表示记忆特征通道数。4.根据权利要求3所述的基于双分支网络的视频异常检测方法，其特征在于，所述步骤S204中特征分离损失的表达式如下：S204中特征分离损失的表达式如下：
其中，L
co...

【专利技术属性】
技术研发人员：霍永青，杜娜，王达，
申请(专利权)人：电子科技大学，
类型：发明
国别省市：