人体行为识别方法、设备及存储介质技术

技术编号:40549907 阅读:30 留言:0更新日期:2024-03-05 19:08
本公开提供一种人体行为识别方法、设备及存储介质,其中,所述的方法包括:通过三维残差卷积神经网络对待处理视频帧进行特征提取,得到输入视频的局部短时时空特征;在三维残差卷积神经网络插入时空注意力模块,以对局部短时时空特征进行时空特征增强,得到增强后的局部短时时空特征;将增强后的局部短时时空特征输入残差连接的双向长短期记忆LSTM网络中,以提取输入视频中的长时间依赖关系;采用分类器对输入视频中的长时间依赖关系进行分类,得到识别结果,能够在空间和时间维度同时提取动作特征,兼顾动作潜在的时空相关性,增强了三维残差网络的特征表达能力,突出了重点特征并抑制冗余特征,有效提高识别精度。

【技术实现步骤摘要】

本公开涉及计算机视觉领域,尤其涉及一种人体行为识别方法、设备及存储介质


技术介绍

1、相关技术中主要使用二维卷积神经网络(convolutional neural networks,cnn)和循环神经网络(recurrent neural network,rnn)相结合,进行人体行为识别,例如最具代表性的lrcn(long-term recurrent convolutional networks)算法,lrcn网络首先通过二维的alexnet卷积神经网络提取视频中的空间信息,再利用单向lstm(long short termmemory,长短期记忆)建模二维卷积特征中的时间信息,实现对动作的分类。

2、然而,二维的alexnet卷积神经网络通过先空间再时间的方式将时空信息分离处理,忽略了视频中动作的潜在时空相关性,单向的lstm未能充分利用视频中的时间信息,因此会影响最终的检测效果。


技术实现思路

1、本公开的第一方面实施例提出了一种人体行为识别方法,该方法包括:对输入视频进行分解及采样处理,本文档来自技高网...

【技术保护点】

1.一种人体行为识别方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述对输入视频进行分解及采样处理,得到待处理视频帧包括:

3.根据权利要求1所述的方法,其特征在于,所述三维残差卷积神经网络包括三维卷积核、池化层及三维残差模块,所述通过三维残差卷积神经网络对所述待处理视频帧进行特征提取,得到所述输入视频的局部短时时空特征包括:

4.根据权利要求1所述的方法,其特征在于,所述时空注意力模块包括时间注意力模块和空间注意力模块,所述在所述三维残差卷积神经网络插入时空注意力模块,以对所述局部短时时空特征进行时空特征增强,得到增强后...

【技术特征摘要】

1.一种人体行为识别方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述对输入视频进行分解及采样处理,得到待处理视频帧包括:

3.根据权利要求1所述的方法,其特征在于,所述三维残差卷积神经网络包括三维卷积核、池化层及三维残差模块,所述通过三维残差卷积神经网络对所述待处理视频帧进行特征提取,得到所述输入视频的局部短时时空特征包括:

4.根据权利要求1所述的方法,其特征在于,所述时空注意力模块包括时间注意力模块和空间注意力模块,所述在所述三维残差卷积神经网络插入时空注意力模块,以对所述局部短时时空特征进行时空特征增强,得到增强后的局部短时时空特征包括:

5.根据权利要求4所述的方法,其特征在于,所述将所述局部短...

【专利技术属性】
技术研发人员:余金锁陈焱山程志超
申请(专利权)人:中移苏州软件技术有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1