一种基于多路径注意力时序的视频异常检测方法技术

本发明专利技术属于计算机视觉技术领域，具体为一种基于多路径注意力时序的视频异常检测方法，包括步骤一、循环残差卷积单元；步骤二、跳跃注意力门；步骤三、规则性得分。本发明专利技术中每个RRCU的活动不仅会受到其相邻单元活动的调节，并且可以根据网络和任务的不同设置不同的时间步长，该属性增强了模型对上下文信息的整合能力；同时，考虑到编码阶段对图像压缩会造成信息损失，利用跳跃注意力门聚合来自多个特征尺度的信息，其可自动学习并关注不同形状和大小的目标对象，更好地突出显著性局部特征；作为一个端到端的学习框架，模型利用多尺度的时空特征可以捕获更多的正态分布信息。特征可以捕获更多的正态分布信息。特征可以捕获更多的正态分布信息。

【技术实现步骤摘要】
一种基于多路径注意力时序的视频异常检测方法


[0001]本专利技术涉及计算机视觉
，具体为一种基于多路径注意力时序的视频异常检测方法。

技术介绍

[0002]人工智能以及计算机硬件的快速发展极大地推动了智能监控视频的发展，但其仍面临的一个基本挑战是自动检测复杂和拥挤的场景中的异常事件。视频中的异常检测是指识别不符合预期行为的事件，其在发现各种违规行为以及其他一些不寻常的事件发挥着重要作用。近几年，许多视频异常检测的方法被提出，并取得了巨大的成功。然而，由于异常事件罕见性和歧义性，使其仍然是一个具有挑战性的问题。
[0003]除此之外，一个场景中的异常事件可以被视为另一个场景中的正常事件。因此，解决时间上下文和捕获连续视频帧之间的依赖关系也成为视频异常检测的难点之一。为解决该问题，早期的大部分工作从复杂的手工特征来获得有关上下文的先验知识，但这些手工特征具有有限的表示能力，难以捕捉复杂视频的运动模式。为缓解这些缺点，许多基于深度学习的方法被提出来解决时序问题，并带了巨大的性能改进。例如，Zhou等人通过基于补丁的稀疏自动编码器提取到本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多路径注意力时序的视频异常检测方法，其特征在于，所述方法包括：步骤一、循环残差卷积单元，将连续的T帧依次输入到编码器中进行特征提取并输入到上下文模块中，实现多尺度特征提取以及时序信息的建模；步骤二、跳跃注意力门，在不同尺度的信息压缩之前直接将显著性的低层特征信息转换为解码特征图，采用SAG，通过跳跃连接将下采样层的结构化信息和当前层纹理信息进行融合，并利用归一化注意力系数得到关联性强的区域，每个跳跃连接的门控信号聚合了来自多个特征尺度的信息，这提高了查询信号的网格分辨率；步骤三、规则性得分，采用T帧的特征图进行跳跃连接，最终输出一帧作为T+1帧的预测结果，并使用实际的第T+1帧作为Ground Truth来完成预测任务。2.根据权利要求1所述的一种基于多路径注意力时序的视频异常检测方法，其特征在于，所述步骤一中编码器主要由不同尺度的RRCU和卷积块构建；RRCU的关键是循环卷积层，RRCU包含RCL；RCL是根据RRCU示的时间步长t执行的；对于位于RCL中第k个特征图上位于(m,n)处的像素，其在时间步长为t时的净输入由下式计算：其中，和分别表示前馈输入和第l个RCL的输入；和分别表示向量化的前馈权重和第k个RCL的循环权重，b
l
是偏差；其表达式为：RRCU的最终输出通过残差单元，假设RRCU的输出是u
x+1
，其计算如下：u
x+1
＝u
x
+F(u
x
,w
l
)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(3)其中，u
x
表示RRCU的输入。3.根据权利要求1所述的一种基于多路径注意力时序的视频异常检测方法，其特征在于，步骤二中SAG的输出是输入特征图和注意力系数的...

【专利技术属性】
技术研发人员：李洪均，孙晓虎，陈金怡，申栩林，陈俊杰，
申请(专利权)人：南通大学，
类型：发明
国别省市：