一种基于前景信息增强的视频异常检测方法技术

本发明专利技术公开了一种基于前景信息增强的视频异常检测方法，包括：将视频帧进行背景与前景的分割的预处理；搭建生成网络以及判别网络模型；将预处理后的视频输入生成网络，生成下一帧预测视频帧，构建生成网络的损失函数，在损失函数中加入RGB三色强度约束以及梯度约束用来保证视频帧在空间上的连续性，加入运动约束用来保证视频帧在时间上的连续性，加入对抗约束用来与判别网络进行对抗；构建判别网络的损失函数，利用判别器进行预测视频帧以及对应的实际视频帧的区分；以训练集中的多组正常行为的视频帧训练生成网络和判别网络；将待判别的视频帧数据输入训练好的生成网络和判别网络中，得出基于自适应峰值信噪比，判断异常行为是否发生。为是否发生。为是否发生。

【技术实现步骤摘要】
一种基于前景信息增强的视频异常检测方法


[0001]本专利技术涉及计算机视觉领域，涉及深度学习、视频异常检测技术，具体涉及一种基于前景信息增强的视频异常检测方法。

技术介绍

[0002]随着视频采集联网设备的广泛部署，视频和图像体量增长迅速，长短视频数据占据了互联网流量的大部分。因此，如何高效快速分析视频数据，提取有用信息，辅助人工智能决策，是当前计算机视觉领域亟待解决的重大课题。
[0003]安防领域作为计算机视觉应用的重要领域，依赖于快速可靠的视频数据分析性能。特别的，在监控视频中，最常见的需求就是要自动识别视频流中的异常事件，也就是视频异常检测任务。其中，计算机视觉与深度学习相结合的技术是解决各类复杂的视频图像处理问题的有效方法。计算机视觉是使用计算机及相关设备对生物视觉的一种模拟，是人工智能领域的一个重要部分，它主要任务是通过对采集的图片或视频数据进行处理以获得相应场景的信息。
[0004]在传统的计算机视觉系统中，其主要目标是从图像中提取特征，包括边缘检测、角点检测、基于颜色的分割等子任务。传统计算机视觉系统需要预先确本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于前景信息增强的视频异常检测方法，其特征在于，包括以下步骤：步骤1，将训练集中连续的t+1帧视频帧进行背景与前景的分割的预处理，保留视频图像的前景区域；步骤2，搭建生成网络以及判别网络模型；其中，生成网络包括生成器和光流网络；将预处理后的连续t帧视频帧I1,I2,
…
,I
t
作为实际视频帧进入生成网络，生成I
t
的下一帧预测视频帧构建生成网络的损失函数，在损失函数中加入RGB三色强度约束以及梯度约束用来保证视频帧在空间上的连续性，加入运动约束用来保证视频帧在时间上的连续性，加入对抗约束用来与判别网络进行对抗；构建判别网络的损失函数，利用判别器进行预测视频帧以及对应的实际视频帧的区分；步骤3，以训练集中的多组正常行为的视频帧训练生成网络和判别网络；步骤4，将待判别的视频帧数据输入训练好的生成网络和判别网络中，得出基于自适应峰值信噪比，判断异常行为是否发生，其中，所述自适应峰值信噪比如下：峰值信噪比，判断异常行为是否发生，其中，所述自适应峰值信噪比如下：为预测视频帧图像中最大的像素值，Row为图像行像素点数，Col为图像列像素点数，I
i,j
表示预测视频帧该预测视频帧对应的实际视频帧I中坐标(i,j)像素点的像素值；G
i,j
为预测视频帧和实际视频帧I的识别区域前景掩码在坐标(i,j)像素点的掩码值；‖G‖1为预测视频帧和实际视频帧I的识别区域前景掩码矩阵G的一范数。2.根据权利要求1所述的基于前景信息增强的视频异常检测方法，其特征在于，所述生成网络的损失函数表示如下：其中，λ
int
、λ
gd
、λ
op
、λ
adv
为强度损失L
int
、梯度损失L
gd
、光流损失L
op
以及对抗损失在损失函数中所占的权重。3.根据权利要求1所述的基于前景信息增强的视频异常检测方法，其特征在于，所述加入RGB三色强度约束以及梯度约束用来保证视频帧在空间上的连续性，具体表示如下：其中L
int
为强度损失，表示生成的预测视频帧的像素数据，I表示该预测视频帧所对应的实际视频帧的像素数据；其中L
gd
为梯度损失，下标i，j表示视频帧I中像素点的位置；所述加入运动约束用来保证视频帧在时间上的连续性，具体表示如下：
其中，L
op
为光流损失，f(I
t+1
,I
t
)表示使用光流网络计算两帧视频帧I
t+1
,I
t
的光流信息；光流网...

【专利技术属性】
技术研发人员：王丰，邝永年，梁振华，
申请(专利权)人：广东工业大学，
类型：发明
国别省市：