一种基于多维特征激励网络的视频动作识别方法技术

本发明专利技术提供了一种基于多维特征激励网络的视频动作识别方法，涉及计算机视觉和图像领域。该多维特征激励网络方法包括3个部分：S1.通过运动补足激励模块建模时序运动特征，激发时间通道运动信息；S2.经过联合特征激励模块，通过空间信息注意力激励时序维和通道信息注意力激励时序维的操作，学习更好的时空特征表达；S3.融合运动补足激励模块和联合特征激励模块构建最终的多维度特征激励融合网络用于动作识别。该模型通过使用多维度特征激励融合网络可以有效地表达时空特征，获得更好的复杂度和分类准确率平衡，在HMDB51和UCF101数据集上的实验结果表明了本发明专利技术算法具有较高的识别准确率，值得大力推广。值得大力推广。值得大力推广。

【技术实现步骤摘要】
一种基于多维特征激励网络的视频动作识别方法


[0001]本专利技术属于计算机视觉领域，涉及对视频动作识别特征提取模型的改进、视频分类和仿真实现。

技术介绍

[0002]视频行为识别是指利用计算机视觉自动分析视频中人的行为，对视频中人的行为和动作进行判断、分析和理解。视频行为识别广泛应用于智能生产和安全生产监控中，对异常行为和不规范行为进行智能预警，从而提高生产效率和降低安全事故。
[0003]目前基于深度学习的视频行为识别方法主要分为两种，一种是基于3D卷积网络的识别方法和基于2D双流网络的识别方法。双流卷积网络将视频分解为空间和时间成分，分别独立进行训练，只在最后一层进行融合，缺少充分的时空交互；而且在时间流部分，光流信息的提取需要额外的时间和内存消耗。另一方面，3D卷积网络虽然不用提取光流信息，但是由于视频本身存在大量冗余信息，直接将2D卷积扩展到时间维度，不仅会使得参数量和计算量成倍增加，导致网络推理速度变慢，而且无法利用视频冗余性的特点。为了解决上述问题，本申请在2D卷积基础上，提出运动补足激励模块来替代光流信息，建模短距离时序本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多维特征激励网络的视频动作识别方法，包括以下步骤：S1.首先将输入特征输入到运动激励补足模块MSE，对输入特征在时间维度进行分片，获得时间帧特征，然后在时间维度进行两级帧相减的操作来捕获运动信息，之后将得到的运动信息在时间维度拼接到一起，经过空间池化和sigmoid函数来获得运动注意力信息的权重，最后将运动注意力激励信息与原输入特征图相乘，完成时序运动特征的学习和增强；S2.同理同时将输入特征输入到联合特征激励模块UIE，对特征分别进行空间信息注意力激励时序维和通道信息注意力激励时序维的操作，通过建模时序与通道和空间的相互依赖关系，学习到长距离时空特征；S3.然后将S1和S2得到...

【专利技术属性】
技术研发人员：于亚威，罗会兰，郭宇辰，曾振，
申请(专利权)人：江西理工大学，
类型：发明
国别省市：