一种基于多路径激励的视频人体行为识别方法及系统技术方案

本发明专利技术公开了一种基于多路径激励的视频人体行为识别方法及系统，通过将待识别视频分段后根据各段提取图像帧，然后采用预训练模型对提取的图像帧进行多路径特征提取识别匹配，匹配度最高的行为动作即为该图像帧的动作，将提取的图像帧识别动作连接后即可得到待识别视频中人体行为，本发明专利技术使用稀疏采样的策略从原始视频数据中抽取图像帧，考虑了动作在全局时间中的变化，从整个视频中抽样进行识别，利用训练获取的行为识别模型可以直接用于视频中的人体行为识别任务，提高识别的精度，覆盖了整个视频的空间外观与隐性的时间信息。针对稀疏采样策略忽视局部运动信息的问题，利用采样帧前后两帧的帧差生成局部运动信息补充到输入中。输入中。输入中。

【技术实现步骤摘要】
一种基于多路径激励的视频人体行为识别方法及系统


[0001]本专利技术属于行为识别
，具体涉及一种基于多路径激励的视频人体行为识别方法及系统。

技术介绍

[0002]摄像头捕获的RGB图片与视频是生活中最常见的图像格式。相比于骨骼数据专注人体关节与骨架的运动，RGB图像中包含了丰富的外观信息与背景信息，对人体运动的关注度较低。但精准的骨骼数据获取难度较大，在当前实际的应用场景中难以获取，所以直接基于RGB图像的行为识别方法也是一个重要的研究领域。早期的手工特征提取方法效率低且复用性较差。使用深度学习的方法为了处理视频数据提出了双流结构与3D卷积模型，但3D卷积参数量大，对算力要求高，双流结构的2D卷积又难以达到3D卷积的时空特征提取能力。直到TSM网络提出了将shift操作引入2D卷积网络的结构，使得2D卷积网络达到了3D卷积的性能，RGB行为识别方法因此有了很大的进步，基于此结构可以进一步深入研究。
[0003]虽然TSM方法首次提出了仅使用2D卷积网络进行时空特征提取的概念，但在行为识别的任务中还存在以下几个问题：
[本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多路径激励的视频人体行为识别方法，其特征在于，包括以下步骤：S1，将待识别视频分段后根据各段提取图像帧；S2，采用预训练模型对提取的图像帧进行多路径特征提取识别匹配，匹配度最高的行为动作即为该图像帧的动作，将提取的图像帧识别动作连接后即可得到待识别视频中人体行为。2.根据权利要求1所述的一种基于多路径激励的视频人体行为识别方法，其特征在于，采用多路径激励方法对提取的图像帧进行特征提取。3.根据权利要求1所述的一种基于多路径激励的视频人体行为识别方法，其特征在于，提取过程中，分别对图像帧进行短时运动激励，运动通道激励与全局时空激励；利用提取的特征进行网络训练同时进行预测，预测结果满足设定训练迭代次数或者达到设定匹配度，即可完成得到行为识别网络模型，利用训练好的行为识别网络模型进行基于视频的人体行为识别任务。4.根据权利要求1所述的一种基于多路径激励的视频人体行为识别方法，其特征在于，预训练模型采用深度卷积神经网络，包括五个卷积模块，第一个卷积模块对图像帧数据初步提取特征并降维，同时利用短时运动激励模块对第一个卷积后的特征加和作为补充信息；然后经过一个最大池化层后通过第二个至第五个进行特征提取。5.根据权利要求4所述的一种基于多路径激励的视频人体行为识别方法，其特征在于，第二个卷积模块与第五个卷积模块的Bottleneck层中加入shift移位模块与MCE运动通道激励模块，通过通道注意力机制寻找特征通道中对运动信息敏感的通道。6.根据权利要求4所述的一种基于多路径激励的视频人体行为识别方法，其特征在于，第二个卷积模块同步采用SME作为运动特征信息的补充。7.根据权利要求4所述的一种基于多路径激励的视频人体行为识别方法，其特征在于，第三个卷积模块与第四个卷积模块中的全局激励模块获取时空全局信息。8.根据权利要求4所述的一种基于多路径激励的视频人体行为识别方法，其特征在于，对提取的特征X采用1
×
1的卷积conv
r
来降维，得到X
r
＝conv
r
(X),X
...

【专利技术属性】
技术研发人员：田智强，王晨宇，岳如靖，杜少毅，
申请(专利权)人：西安交通大学，
类型：发明
国别省市：