System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 动作识别方法、电子设备及计算机可读存储介质技术_技高网

动作识别方法、电子设备及计算机可读存储介质技术

技术编号:40304142 阅读:6 留言:0更新日期:2024-02-07 20:49
本申请公开了一种动作识别方法、电子设备及计算机可读存储介质。该方法包括:获取视频数据;对视频数据采样得到若干图像帧;将若干图像帧输入至注意力网络中,利用当前图像帧和上一图像帧的隐藏信息得到帧间注意力,并利用帧间注意力和当前图像帧得到当前图像帧对应的预测结果,每一预测结果具有其对应的置信度;对若干预测结果进行置信度判断以获取动作识别结果。通过上述方式,本申请提高人体动作识别的精度和准确性。

【技术实现步骤摘要】

本申请涉及计算机视觉领域,特别是涉及一种动作识别方法、电子设备及计算机可读存储介质


技术介绍

1、人体行为识别是指通过拍摄设备或捕捉器来获取人体行为数据,对其中的人体行为进行识别。人体行为识别在公共安全、智慧交通、医疗监护、生产安全等方面具有广泛的应用前景。人体行为识别通常可分为两类,一类是基于rgb视频的人体行为识别,一类是基于骨骼数据的人体行为识别。rgb数据的采集十分方便,并且能够提供详细丰富的外观信息,如形状、颜色、纹理等,但是其通常对照明条件、拍摄角度等十分敏感,当光照较弱时,基于rgb视频的人体行为识别算法准确率将大大降低。并且rgb数据较多,相对应的其网络模型参数量大,对硬件资源需求较高。骨骼数据虽然不能提供具体的外观信息,但是对照明条件、拍摄角度十分兼容,亦能通过图神经网络(gcn)等方法获得较好的识别准确率。但是gcn方法在鲁棒性、兼容性以及可扩展性上还需要进一步提升。因此,如何提高人体动作识别的精度和准确性,成为了本领域技术人员亟需解决的技术问题。


技术实现思路

1、本申请主要目的是提供一种动作识别方法、电子设备及计算机可读存储介质,能够提高人体动作识别的精度和准确性。

2、为解决上述技术问题,本申请采用的第一个技术方案是:提供一种动作识别方法。该方法包括:获取视频数据;对视频数据采样得到若干图像帧;将若干图像帧输入至注意力网络中,利用当前图像帧和上一图像帧的隐藏信息得到帧间注意力,并利用帧间注意力和当前图像帧得到当前图像帧对应的预测结果,每一预测结果具有其对应的置信度;对若干预测结果进行置信度判断以获取动作识别结果。

3、为解决上述技术问题,本申请采用的第二个技术方案是:提供一种电子设备。该电子设备包括存储器和处理器,存储器用于存储程序数据,程序数据能够被处理器执行,以实现如第一个技术方案中所述的方法。

4、为解决上述技术问题,本申请采用的第三个技术方案是:提供一种计算机可读存储介质。该计算机可读存储介质存储有程序数据,能够被处理器执行,以实现如第一个技术方案中所述的方法。

5、本申请的有益效果是:本申请对视频数据进行采样获取图像帧,将图像帧输入至注意力网络中,通过利用当前图像帧和上一图像帧的隐藏信息得到帧间注意力,利用帧间注意力和当前图像帧获取预测结果,加强了各图像帧之间的联系,使得之前图像帧的信息能够用于后续图像帧的识别预测,提高了预测结果的精度和准确性。进而利用预测结果来获取动作识别结果,对应的也提高了动作识别结果的精度和准确性。

本文档来自技高网...

【技术保护点】

1.一种动作识别方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述利用当前图像帧和上一图像帧的隐藏信息得到帧间注意力,包括:

3.根据权利要求2所述的方法,其特征在于,所述利用当前图像帧、上一图像帧隐藏信息分别得到查询矩阵、键矩阵以及值矩阵,包括:

4.根据权利要求3所述的方法,其特征在于,所述当前子图像帧向量还包括第二可学习向量,所述第二可学习向量用于表示当前子图像帧的空间分类信息,所述子图像帧隐藏信息向量包括第三可学习向量,所述第三可学习向量用于表示所述子图像帧隐藏信息的时间分类信息。

5.根据权利要求1所述的方法,其特征在于,所述对所述视频数据采样得到若干图像帧,包括:

6.根据权利要求5所述的方法,其特征在于,所述注意力网络包括第一注意力网络以及第二注意力网络,所述将若干图像帧输入至注意力网络中,利用当前图像帧和上一图像帧的隐藏信息得到帧间注意力,并利用所述帧间注意力和所述当前图像帧得到所述当前图像帧对应的预测结果,包括:

7.根据权利要求6所述的方法,其特征在于,所述第一注意力网络和所述第二注意力网络均包括至少两个注意力层,所述第一注意力网络中每一注意力层的帧间注意力基于第一隐藏信息得到,所述第一隐藏信息基于上一RGB图像帧的隐藏信息,或所述上一RGB图像帧的隐藏信息和所述骨骼图像帧的隐藏信息得到,所述第二注意力网络中每一注意力层的帧间注意力基于第二隐藏信息得到,所述第二隐藏信息基于上一骨骼图像帧的隐藏信息,或所述上一骨骼图像帧的隐藏信息和所述RGB图像帧的隐藏信息得到。

8.根据权利要求7所述的方法,其特征在于,所述利用所述帧间注意力和所述当前图像帧得到所述当前图像帧对应的预测结果,包括:

9.一种电子设备,其特征在于,包括存储器和处理器,所述存储器用于存储程序数据,所述程序数据能够被所述处理器执行,以实现如权利要求1-8任一项所述的方法。

10.一种计算机可读存储介质,其特征在于,存储有程序数据,能够被处理器执行,以实现如权利要求1-8任一项所述的方法。

...

【技术特征摘要】

1.一种动作识别方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述利用当前图像帧和上一图像帧的隐藏信息得到帧间注意力,包括:

3.根据权利要求2所述的方法,其特征在于,所述利用当前图像帧、上一图像帧隐藏信息分别得到查询矩阵、键矩阵以及值矩阵,包括:

4.根据权利要求3所述的方法,其特征在于,所述当前子图像帧向量还包括第二可学习向量,所述第二可学习向量用于表示当前子图像帧的空间分类信息,所述子图像帧隐藏信息向量包括第三可学习向量,所述第三可学习向量用于表示所述子图像帧隐藏信息的时间分类信息。

5.根据权利要求1所述的方法,其特征在于,所述对所述视频数据采样得到若干图像帧,包括:

6.根据权利要求5所述的方法,其特征在于,所述注意力网络包括第一注意力网络以及第二注意力网络,所述将若干图像帧输入至注意力网络中,利用当前图像帧和上一图像帧的隐藏信息得到帧间注意力,并利用所述帧间注意力和所述当前图像帧得到所述当前图像帧对应的预...

【专利技术属性】
技术研发人员:李德财张海涛马子昂
申请(专利权)人:杭州华橙软件技术有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1