【技术实现步骤摘要】
一种基于对偶记忆模块的视频异常检测方法及系统
本专利技术涉及视频和图像处理领域，尤其是涉及一种基于对偶记忆模块的视频异常检测方法及系统。
技术介绍
视频异常检测的目标是识别给定视频中存在异常事件的帧。它被广泛用在监控视频上，进行公共异常检测、交通拥堵发现以及实时事故监测。然而，视频异常检测任务非常具有挑战性。首先，正常事件是有边界的而异常则是无边界的，任何不符合正常行为模式的案例都会被视为异常。其次，正常和异常数据量极为不平衡，正常事件每时每刻都在发生，而异常事件在现实生活中很少发生。最后，不同情形下的异常定义千差万别，例如，在购物商场中奔跑被视为异常事件，而在马拉松比赛中奔跑又是正常事件。传统的视频异常检测模型大多是针对该任务的特点专门设计人工特征。在2001年国际会议InternationalConferenceonImageProcessing上，《One-classsvmforlearninginimageretrieval》一文提出了一种单类别支持向量机模型，并被广泛应用到视频异常检测当中。他们假设正常数据...
【技术保护点】
1.一种基于对偶记忆模块的视频异常检测方法，其特征在于，包括以下步骤：/n(1)将连续帧作为卷积神经网络输入，提取低维特征空间特征作为对偶记忆模块的问询特征；/n(2)利用问询特征和对偶记忆模块中的记忆向量，分别计算得到正常和异常特征空间的新特征；/n(3)把正常和异常特征空间的新特征分别输入到两个判别器中，利用判别函数训练得到判别特征空间；/n(4)将正常和异常特征空间的新特征串联作为生成器的输入，进而生成未来帧；/n(5)利用判别函数和重构函数进行模型参数训练，利用记忆模块更新规则更新对偶空间中的正常和异常记忆向量；/n(6)联合对偶记忆模块中的稀疏响应和未来帧的预测误...
【技术特征摘要】 【专利技术属性】
1.一种基于对偶记忆模块的视频异常检测方法，其特征在于，包括以下步骤：
(1)将连续帧作为卷积神经网络输入，提取低维特征空间特征作为对偶记忆模块的问询特征；
(2)利用问询特征和对偶记忆模块中的记忆向量，分别计算得到正常和异常特征空间的新特征；
(3)把正常和异常特征空间的新特征分别输入到两个判别器中，利用判别函数训练得到判别特征空间；
(4)将正常和异常特征空间的新特征串联作为生成器的输入，进而生成未来帧；
(5)利用判别函数和重构函数进行模型参数训练，利用记忆模块更新规则更新对偶空间中的正常和异常记忆向量；
(6)联合对偶记忆模块中的稀疏响应和未来帧的预测误差，计算异常得分并判断是否异常。
2.根据权利要求1所述的基于对偶记忆模块的视频异常检测方法，其特征在于，步骤(1)中，卷积神经网络使用4个卷积模块对连续多帧It-T，...，It-2，It-1进行特征提取，其中最后一个卷积模块包含两个分支，分别进行正常问询特征QN和异常问询特征QA的提取，公式表述为：
[QN，QA]＝CNN(It-T，...，It-2，It-1)
得到的问询特征QN和QA是C×H×W维的张量，模型进一步按照空间维度分别将两个张量拆解为K(＝H×W)个C维单位问询向量。
3.根据权利要求1所述的基于对偶记忆模块的视频异常检测方法，其特征在于，步骤(2)的具体过程为：
(2-1)计算每个正常单位问询向量和正常单位记忆向量的距离矩阵WN；
(2-2)将距离矩阵WN沿水平方向计算softmax，得到每个正常单位问询向量对应于正常单位记忆向量的权重
(2-3)利用权重和正常单位记忆向量计算得到新正常特征，并和原来问询向量串联得到新正常特征向量
(2-4)将K个新正常特征向量拼接为正常特征张量作为正常特征空间的新特征；
(2-5)用上述步骤(2-1)～(2-4)同样的方法，将K个新异常常特征向量拼接，从而获得异常特征张量作为异常特征空间的新特征。
4.根据权利要求3所述的基于对偶记忆模块的视频异常检测方法，其特征在于，步骤(3)中，模型将新获得的正常特征张量和异常特征张量分别输入到两个判别器中，训练并增加特征的判别性；模型使用单层3×3卷积和全局平均池化作为判别器网络，并使用三元组损失函数进行特征训练：
其中，分别是利用判别器得到的正常特征锚点、正常特征正采样和异常特征负采样，β是边缘距离参数。
5.根据权利要求4所述的基于对偶记忆模块的视频异常检测方法，其特征在于，步骤(4)中，模型将正常特征张量和异常特征张量串连作为生成器的输入利用生成器预测出未来帧并和它的地标It进行比较并计算重构损失：
技术研发人员：郭鑫，蔡登，金仲明，陈冲，聂贺磊，黄建强，何晓飞，
申请(专利权)人：浙江大学，
类型：发明
国别省市：浙江;33
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。