【技术实现步骤摘要】
本申请涉及计算机视觉，尤其是一种人体动作识别方法、装置和电子设备。
技术介绍
1、目前，人体动作识别作为一种特殊信息表达方式，在计算机视觉中发挥着重要的作用，在智慧医疗、虚拟现实、智能安防等方面有着广泛的应用价值，因此，需要对人体动作进行准确识别。
2、然而，目前进行人体动作识别的做法主要集中在rgb图像上，通过卷积神经网络提取rgb视频的时间和空间信息来进行人体动作的识别，但是，基于rgb图像的人体动作识别，因为动态背景、环境光线和遮挡等的影响，使得人体动作识别的识别准确率不高。
3、因而，如何提升人体动作识别的识别率成了本领域亟待解决的技术问题。
技术实现思路
1、为了提高人体动作识别的准确率，本申请提供一种人体动作识别方法、装置和电子设备。
2、第一方面，本申请提供一种人体动作识别方法，采用如下的技术方案：
3、一种人体动作识别方法，包括：
4、获取包括人体动作的视频；
5、基于所述视频得到每一帧三维骨架信息和每一帧rgb图像信息；
6、基于所有帧的三维骨架信息进行时空特征提取，得到时空特征数组，再根据所有所述时空特征数组得到时空注意力权重；
7、基于所有帧的rgb图像信息进行时空特征提取，得到rgb图像时空特征；
8、根据所述时空注意力权重和所述rgb图像时空特征，得到处理后特征向量，并根据处理后特征向量进行人体动作分类，得到动作类别。
9、通过采用上述技
10、在一种可能实现的方式中，所述基于所有帧的三维骨架信息进行时空特征提取，得到时空特征数组，包括：
11、基于每一帧三维骨架信息构建每一帧三维骨架信息的图信息；
12、将每一帧三维骨架信息的图信息进行卷积计算，得到每一个时间维度的动作特征；
13、基于所有的时间维度的动作特征进行融合得到时空特征数组。
14、通过采用上述技术方案，能够基于若干三维骨架信息构建每一帧三维骨架信息的图信息，通过图卷积网络得到每一个时间维度的动作特征，由每一个时间维度的动作特征得到动作的时空特征数组，使准确提取人体骨架特征信息。
15、在一种可能实现的方式中，所述根据所有所述时空特征数组得到时空注意力权重，包括：
16、基于所述时空特征数组进行时空注意力计算，得到加权时空注意力数组；
17、将所述加权时空注意力数组中的每一个特征进行卷积计算，得到若干卷积后特征；
18、基于所述若干卷积后特征和若干激活函数，得到若干权重矩阵；
19、根据所述若干权重矩阵相确定时空注意力权重。
20、通过采用上述技术方案，通过对时空注意力数组进行时空注意力计算，得到加权时空注意力数组，将加权时空注意力数组的每一个特征进行卷积计算后，再分别加入若干激活函数，得到若干权重矩阵，将若干权重矩阵相乘得到时空注意力权重，加入注意力机制的人体动作特征，可以更准确地跟踪人体动作遮挡情况，使进一步提升人体动作识别率。
21、在一种可能实现的方式中，基于所述若干卷积后特征和若干激活函数，得到若干权重矩阵，包括：
22、将每一卷积后特征分别利用第一激活函数和第二激活函数，得到每一卷积后特征对应的第一子权重矩阵和第二子权重矩阵；
23、根据所有所述第一子权重矩阵得到第一权重矩阵，且，根据所有所述第二子权重矩阵得到第二权重矩阵，其中，所述第一权重矩阵和所述第二权重矩阵构成所述若干权重矩阵。
24、通过采用上述技术方案，利用两个激活函数最终得到两个权重矩阵，其中激活函数可以完成对数据的非线性变换，解决线性模型表达、分类能力不足的问题，使得到更准确的权重矩阵，加入两个激活函数，可以使计算结果获得更多的特征数量，便于得到更准确的识别结果。
25、在一种可能实现的方式中，所述基于所有帧的rgb图像信息进行时空特征提取，得到rgb图像时空特征，包括：
26、基于i3d模块对所述每一帧rgb图像信息进行三维动作特征提取，得到每一帧rgb图像信息的时空特征；
27、将所有rgb图像信息的时空特征进行融合，得到rgb图像时空特征。
28、通过采用上述技术方案，采用i3d模块将二维图像特征扩展为三维人体动作特征，得到rgb图像时空特征，进而能够通过加权rgb图像特征，使提升人体动作识别率和算法识别鲁棒性。
29、在一种可能实现的方式中，所述根据所述时空注意力权重和所述rgb图像时空特征，得到处理后特征向量，包括：
30、将所述时空注意力权重和所述rgb图像时空特征进行加权处理，得到第一特征向量；
31、将所述第一特征向量和所述rgb图像时空特征进行特征融合，得到第二特征向量，其中，所述第二特征向量为处理后特征向量。
32、通过采用上述技术方案，将时空注意力权重和rgb图像时空特征进行加权处理，得到第一特征向量，再将第一特征向量和rgb图像时空特征进行特征融合，得到第二特征向量，第二特征向量中通过与rgb图像时空特征的再次特征融合，能够更清楚的表达人体动作特征信息的特点，其中，两次特征融合得到第一特征向量和第二特征向量，可以使动作特征信息进行更好的特征融合，进而能够提高人体动作识别的识别率。
33、在一种可能实现的方式中，所述根据处理后特征向量进行人体动作分类，得到动作类别，包括：
34、将处理后特征向量输入人体动作分类模块，得到动作类别，所述人体动作分类模块包括卷积层、池化层和激活函数。
35、通过采用上述技术方案，将融合后特征向量输入人体动作分类模块，得到人体动作预测类别，使得到更准确的动作识别类别。
36、在一种可能实现的方式中，所述基于所述视频得到每一帧三维骨架信息和每一帧rgb图像信息；基于所有帧的三维骨架信息进行时空特征提取，得到时空特征数组，再根据所有所述时空特征数组得到时空注意力权重；基于所有帧的rgb图像信息进行时空特征提取，得到rgb图像时空特征；根据所述时空注意力权重和所述rgb图像时空特征，得到处理后特征向量，并根据处理后特征向量进行人体动作分类，得到动作类别，是利用人体动作识别模型实现的；
37、其中，所本文档来自技高网...
【技术保护点】
1.一种人体动作识别方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述基于所有帧的三维骨架信息进行时空特征提取，得到时空特征数组，包括：
3.根据权利要求2所述的方法，其特征在于，所述根据所有所述时空特征数组得到时空注意力权重，包括：
4.根据权利要求3所述的方法，其特征在于，所述基于所述若干卷积后特征和若干激活函数，得到若干权重矩阵，包括：
5.根据权利要求1所述的方法，其特征在于，所述基于所有帧的RGB图像信息进行时空特征提取，得到RGB图像时空特征，包括：
6.根据权利要求1所述的方法，其特征在于，所述根据处理后特征向量进行人体动作分类，得到动作类别，包括：
7.根据权利要求1至6任意一项所述的方法，其特征在于，所述根据所述时空注意力权重和所述RGB图像时空特征，得到处理后特征向量，包括：
8.根据权利要求1至6任意一项所述的方法，其特征在于，所述基于所述视频得到每一帧三维骨架信息和每一帧RGB图像信息；基于所有帧的三维骨架信息进行时空特征提取，得到时空特征数组，再根据
9.一种人体动作识别装置，其特征在于，包括：
10.一种电子设备，其特征在于，该电子设备包括：
...【技术特征摘要】
1.一种人体动作识别方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述基于所有帧的三维骨架信息进行时空特征提取，得到时空特征数组，包括：
3.根据权利要求2所述的方法，其特征在于，所述根据所有所述时空特征数组得到时空注意力权重，包括：
4.根据权利要求3所述的方法，其特征在于，所述基于所述若干卷积后特征和若干激活函数，得到若干权重矩阵，包括：
5.根据权利要求1所述的方法，其特征在于，所述基于所有帧的rgb图像信息进行时空特征提取，得到rgb图像时空特征，包括：
6.根据权利要求1所述的方法，其特征在于，所述根据处理后特征向量进行人体动作分类，得到动作类别，包括：
7.根据权利要求1至...
【专利技术属性】
技术研发人员：肖文琛，袁娟，焦永利，董志文，
申请(专利权)人：富盛科技股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。