【技术实现步骤摘要】
一种基于时序引导空间注意力的暴力行为识别方法
本专利技术属于行为识别领域，具体涉及一种基于时序引导空间注意力的暴力行为识别方法。
技术介绍
暴力行为影响社会秩序，危害公共安全，及时识别并预警暴力行为，遏制暴力事件的事态发展对于公共安全具有重大意义。传统人工监控的方式不仅耗费大量人力，而且极易出现因监视者注意力不集中造成的漏检现象。近年来，基于深度学习识别行为的方法得到了广泛的关注，也促使了暴力行为检测算法性能的提高。基于深度学习的暴力行为识别方法可分为三大类，一类是采用RGB和光流的双流结构，需要事先提取并保存光流，而提取光流的过程会耗费大量的时间和空间资源，因此难以满足实时性要求。第二类方法采用3D卷积网络结构，虽然该类方法识别速度较快，但是因为3D卷积网络参数量通常较大，对于硬件要求较高，难以应用于实际。第三类方法采用卷积长短时记忆网络(ConvLSTM)结构，因为在时序上每帧共享ConvLSTM网络参数，具有参数量较小的优点，但是仍然存在易受背景干扰的问题，尤其是当运动目标较小时，漏检现象明显。在人眼视...
【技术保护点】
1.一种基于时序引导空间注意力的暴力行为识别方法，其特征在于，包括以下步骤：/n1)采用双流特征提取及融合模块对输入的视频图像，使用双流网络模型分别提取RGB图像和帧差图像的深度特征，并对双流特征进行融合，融合后的特征用于时序引导空间注意力模块；/n2)时序引导空间注意力模块利用ConvLSTM输出的时序特征来引导空间注意力，为特征图分配不同的空间权重，使网络更加关注运动的区域。/n
【技术特征摘要】
1.一种基于时序引导空间注意力的暴力行为识别方法，其特征在于，包括以下步骤：
1)采用双流特征提取及融合模块对输入的视频图像，使用双流网络模型分别提取RGB图像和帧差图像的深度特征，并对双流特征进行融合，融合后的特征用于时序引导空间注意力模块；
2)时序引导空间注意力模块利用ConvLSTM输出的时序特征来引导空间注意力，为特征图分配不同的空间权重，使网络更加关注运动的区域。
2.根据权利要求1所述的一种基于时序引导空间注意力的暴力行为识别方法，其特征在于，步骤1)中，双流特征提取及融合模块选取经过ImageNet数据集预训练的VGG-16深度神经网络，去掉最后的三层全连接层，仅保留前面的卷积层部分作为特征提取器，提取RGB图像和帧差图像的特征，分别作为空间域和时间域的表征，然后将RGB和帧差双流的特征进行拼接融合，得到的融合特征输入时序引导空间注意力模块。
3.根据权利要求2所述的一种基于时序引导空间注意力的暴力行为识别方法，其特征在于，步骤2)中，时序引导空间注意力模块，提出使用ConvLSTM的隐含时序状态引导空间注意力权值的策略，采用了两层ConvLSTM网络层，将双流融合后的特征和第二层ConvLSTM上一时刻的隐含时序状态分别送入第一层ConvLSTM和空间注意力模块，之后将空间注意力模块输出的空间权值与第一层ConvLSTM的特征图进行点乘运算，为特征图不同空间位置赋予不同的权重，通过时序特征的引导使网络更加关注运动区域的特征，减少对运动目标的漏...
【专利技术属性】
技术研发人员：李凡，张斯瑾，贺丽君，
申请(专利权)人：西安交通大学，广东顺德西安交通大学研究院，
类型：发明
国别省市：陕西;61
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。