动作识别方法、装置、电子设备及存储介质制造方法及图纸

本申请提供了一种动作识别方法、装置、电子设备及计算机可读存储介质，所述方法包括：获取待处理图片；对所述待处理图片进行特征提取，以得到与所述待处理图片对应的第一模态的数据；以及利用第一神经网络模型，对所述第一模态的数据进行动作识别，确定所述待处理图片的动作类型，其中，所述第一神经网络模型是使用与所述第一模态不同的第二模态的数据利用第二神经网络进行训练得到的。根据该动作识别方法，能够克服由于模型训练阶段和模型测试阶段之间的数据模态差异而带来的限制，增强了模型的鲁棒性，进一步提高了识别的准确率。进一步提高了识别的准确率。进一步提高了识别的准确率。

【技术实现步骤摘要】
动作识别方法、装置、电子设备及存储介质


[0001]本申请涉及图像处理与计算机视觉领域
，尤其涉及动作识别方法、装置、设备及计算机可读存储介质。

技术介绍

[0002]在人工智能领域，以人体动作识别为代表的计算机视觉是近年发展最快的方向之一，其主要研究的是通过接收计算机采集的各种数据(声音、图片或视频)，并经过一系列复杂的算法加以分析和处理，最终得到并理解这些数据中的信息。近些年，越来越多的深度学习算法被应用于动作识别，使得其精度提升迅速。
[0003]例如，在专利文献1(CN109460707A)中，公开了一种基于深度神经网络的多模态动作识别方法，将基于视频的相邻帧而获取的光流图、骨架路径积分特征以及原始的视频图像一并输入到具有多分枝结构的深度神经网络中，令其学习关于人体动作的抽象时空表征，并正确判断其动作类别。并且，在视频图像支路中接入了基于注意力机制的采样(pooling)层，以强化与最终动作分类结果息息相关的抽象特征，减少无关干扰。
[0004]另外，韩敏捷在其硕士学位论文“基于深度学习框架的多模态动作识别”中提出本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种动作识别方法，其特征在于，所述方法包括：获取待处理图片；对所述待处理图片进行特征提取，以得到与所述待处理图片对应的第一模态的数据；以及利用第一神经网络模型对所述第一模态的数据进行动作识别，确定所述待处理图片的动作类型，其中，所述第一神经网络模型是使用与所述第一模态不同的第二模态的数据利用第二神经网络进行训练得到的。2.根据权利要求1所述的动作识别方法，其特征在于，所述方法还包括：利用摄像头获得所述第一模态的数据，利用传感器获得所述第二模态的数据。3.根据权利要求1或2所述的动作识别方法，其特征在于，所述第二神经网络是时空图卷积网络。4.根据权利要求3所述的动作识别方法，其特征在于，在对所述第一神经网络模型的训练中，基于作为所述第二模态的数据的人体关键点数据采用非局部运算方式进行训练。5.根据权利要求1或2所述的动作识别方法，其特征在于，所述待处理图片是以等间隔采样的方式获得的由摄像头拍摄的视频中的特定帧的图片。6.根据权利要求5所述的动作识别方法，其特征在于，所述对所述待处理图片进行特征提取，包括：对来自RGB视频的所述待处理图片进行特征提取；所述利用第一神经网络模型，对所述第一模态的数据进行动作识别，包括：利用作为所述第一神经网络模型的时间...

【专利技术属性】
技术研发人员：陈海波，罗志鹏，徐振宇，
申请(专利权)人：深延科技北京有限公司，
类型：发明
国别省市：