行为识别方法、电子设备及计算机可读存储介质技术

技术编号:41757697 阅读:27 留言:0更新日期:2024-06-21 21:39
本申请公开了一种行为识别方法、电子设备及计算机可读存储介质,属于计算机视觉技术领域。本申请通过提取频域数据中的频域I帧数据和频域P帧数据;将频域I帧数据输入至二维卷积神经网络的慢速路径SI得到稀疏空间特征,并将频域P帧数据输入至二维卷积神经网络的快速路径FP得到快速运动特征;提取快速运动特征中的显著运动特征,将显著运动特征与稀疏空间特征进行横向特征融合得到第一时空聚合特征;将第一时空聚合特征与快速运动特征进行纵向特征融合得到第二时空聚合特征以进行行为识别,从而实现在提高行为识别精度的同时,提高行为识别效率,进而解决如何在保证行为识别精度的同时,提高行为识别效率的技术问题。

【技术实现步骤摘要】

本申请涉及计算机视觉,尤其涉及行为识别方法、电子设备及计算机可读存储介质


技术介绍

1、基于视频的行为识别方法主要探究如何感知在一段连续的视频流中某一目标乃至多个目标的动作变化,进而由对连续动作的总结上升为对行为的判断。伴随着人们对人工智能需求的不断增加,基于视频的行为识别方法已成为计算机视觉的重要技术,其广泛地推动了人工智能的发展。

2、目前,行为识别方法采用较多的一种方案是基于双流的神经网络,其将视频分成空间和时间两个部分,分别将rgb图像和光流图像送入两支神经网络,并融合得到最终分类结果。另外一种方案是基于三维卷积的神经网络,其针对视频将神经网络优化为三维卷积神经网络,以此来捕捉更多的时间和空间信息。

3、然而,上述行为识别方法均存在一些不可忽略的技术问题,第一种方案在提取的rgb图像中加入额外的光流,虽然能辅助提高视频行为识别的性能,但光流的计算成本较高,会大幅度降低行为识别的效率。而第二种方案的三维卷积神经网络虽然能取得比较好的识别效果,但其数据计算量远远大于二维卷积神经网络的数据计算量,因而极大地占用了计算资源,同时降本文档来自技高网...

【技术保护点】

1.一种行为识别方法,其特征在于,包括:

2.如权利要求1所述的行为识别方法,其特征在于,所述确定所述压缩视频流对应的频域数据的步骤包括:

3.如权利要求1所述的行为识别方法,其特征在于,所述时间注意力维度包括静态特征分支和时间注意力权重分支,所述基于时间注意力维度将所述显著运动特征整合至所述慢速路径SI,并与所述稀疏空间特征进行横向特征融合,得到第一时空聚合特征的步骤包括:

4.如权利要求1所述的行为识别方法,其特征在于,所述依据所述第二时空聚合特征进行压缩视频流的行为识别的步骤包括:

5.如权利要求4所述的行为识别方法,其特征在于,所述...

【技术特征摘要】

1.一种行为识别方法,其特征在于,包括:

2.如权利要求1所述的行为识别方法,其特征在于,所述确定所述压缩视频流对应的频域数据的步骤包括:

3.如权利要求1所述的行为识别方法,其特征在于,所述时间注意力维度包括静态特征分支和时间注意力权重分支,所述基于时间注意力维度将所述显著运动特征整合至所述慢速路径si,并与所述稀疏空间特征进行横向特征融合,得到第一时空聚合特征的步骤包括:

4.如权利要求1所述的行为识别方法,其特征在于,所述依据所述第二时空聚合特征进行压缩视频流的行为识别的步骤包括:

5.如权利要求4所述的行为识别方法,其特征在于,所述依据所述长期运动特征和所述短期运动特征进行压缩视频流的行为识别的步骤包括:

6.如权利要求5所述的行为识别方法,其...

【专利技术属性】
技术研发人员:贾霞徐茜穆菁
申请(专利权)人:中兴通讯股份有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1