System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind()
【技术实现步骤摘要】
本专利技术涉及行为识别,尤其涉及一种基于主动感知机制的行为识别方法、装置、设备及介质。
技术介绍
1、在视频行为识别领域,如何有效关注视频帧中的重要区域并充分利用时空信息是一个重要的研究课题,近年来,基于深度学习的方法在行为识别方面取得了重大进展,其中,基于3d cnn的方法提出在空间和时间上联合操作卷积,进一步提高了性能。例如,通过将2dcnn的卷积和池化核与额外的时间维度相结合的i3d(inflated 3d),以及分别以高帧率和低帧率对rgb帧进行操作,以捕捉语义和运动信息的slow fast网络框架。然而,现有的基于3d cnn的方法,由于其只在有限的时间间隔内进行时空处理,卷积运算只关注视频中相对短期的上下文,很难对长期的时空依赖性进行建模,而基于slow fast网络框架的方法难以有效关注视频中的关键区域,因此,在行为识别中的应用仍然面临挑战。
2、为了提高对关键区域的关注度,将注意力机制融合到行为识别算法中,可以从视频中成功捕获有效特征,以及基于注意力机制来学习视频中的长期时空关系。但是,目前基于注意力机制的行为识别方法,不具备分析多个时间序列的能力,关注视频中与人体运动相关的关键区域的能力也有待提高,限制了行为识别的性能。
技术实现思路
1、本专利技术提供一种基于主动感知机制的行为识别方法、装置、设备及介质,用以解决现有的基于注意力机制的行为识别方法不具备分析多个时间序列的能力,且关注人体运动相关的关键区域的能力也有待提高,限制了行为识别性能的缺陷。
...【技术保护点】
1.一种基于主动感知机制的行为识别方法,其特征在于,包括:
2.根据权利要求1所述的基于主动感知机制的行为识别方法,其特征在于,所述主动感知机制网络包括数据层、立方体层和时空多尺度结构,所述时空多尺度结构包括多个时空尺度不同的多头池化注意力层;所述数据层包括所述审视分支下的第一子数据层和所述浏览分支下的第二子数据层;所述立方体层包括所述审视分支下的第一子立方体层和所述浏览分支下的第二子立方体层;各所述多头池化注意力层包括所述审视分支下的第一子注意力层和所述浏览分支下的第二子注意力层;
3.根据权利要求2所述的基于主动感知机制的行为识别方法,其特征在于,所述利用所述行为识别模型中的特征融合层对所述空间语义信息和所述运动信息进行融合得到融合特征,包括:
4.根据权利要求2所述的基于主动感知机制的行为识别方法,其特征在于,所述利用所述行为识别模型中的数据层对所述视频图像进行下采样,得到所述视频图像的视频帧序列,包括:
5.根据权利要求1所述的基于主动感知机制的行为识别方法,其特征在于,所述将所述视频图像输入到经过预训练的行为识别模型中之前
6.根据权利要求5所述的基于主动感知机制的行为识别方法,其特征在于,所述对所述初始训练样本进行增广处理,得到目标训练样本,包括:
7.根据权利要求6所述的基于主动感知机制的行为识别方法,其特征在于,所述对所述初始训练样本进行视频帧采样,得到样本帧序列对所述初始训练样本进行增广处理,得到第一训练样本,包括:
8.一种基于主动感知机制的行为识别装置、其特征在于,包括:
9.一种电子设备,包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现如权利要求1至7任一项所述基于主动感知机制的行为识别方法的步骤。
10.一种非暂态计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至7任一项所述基于主动感知机制的行为识别方法的步骤。
...【技术特征摘要】
1.一种基于主动感知机制的行为识别方法,其特征在于,包括:
2.根据权利要求1所述的基于主动感知机制的行为识别方法,其特征在于,所述主动感知机制网络包括数据层、立方体层和时空多尺度结构,所述时空多尺度结构包括多个时空尺度不同的多头池化注意力层;所述数据层包括所述审视分支下的第一子数据层和所述浏览分支下的第二子数据层;所述立方体层包括所述审视分支下的第一子立方体层和所述浏览分支下的第二子立方体层;各所述多头池化注意力层包括所述审视分支下的第一子注意力层和所述浏览分支下的第二子注意力层;
3.根据权利要求2所述的基于主动感知机制的行为识别方法,其特征在于,所述利用所述行为识别模型中的特征融合层对所述空间语义信息和所述运动信息进行融合得到融合特征,包括:
4.根据权利要求2所述的基于主动感知机制的行为识别方法,其特征在于,所述利用所述行为识别模型中的数据层对所述视频图像进行下采样,得到所述视频图像的视频帧序列,包括:
5.根据权利要求1所述的基于...
【专利技术属性】
技术研发人员:孙哲南,茹一伟,晏直誉,李琦,
申请(专利权)人:中国科学院自动化研究所,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。