动作识别、姿势估计的方法及装置制造方法及图纸

本申请提供了一种动作识别、姿势估计的方法及装置。该动作识别方法包括：确定待处理视频，所述待处理视频为包含人体图像的视频；根据所述待处理视频确定待处理图像；对所述待处理图像进行卷积处理，得到多个特征向量，其中，所述多个特征向量分别用于表示所述待处理图像不同位置的特征；根据所述多个特征向量确定所述人体的人体关节的权重系数集合；根据所述人体关节的权重系数集合对所述多个特征向量进行加权处理，得到所述人体关节的动作特征；根据所述人体关节的动作特征确定所述人体的动作特征；根据所述人体的动作特征，确定所述人体的动作类型。本申请能够提高动作识别的准确率。

Method and Device of Motion Recognition and Posture Estimation

This application provides a method and device for motion recognition and posture estimation. The action recognition method includes: determining the video to be processed, the video to be processed is a video containing human body image; determining the image to be processed according to the video to be processed; convoluting the image to be processed to obtain a plurality of feature vectors, in which the multiple feature vectors are used to represent the characteristics of different positions of the image to be processed; and according to the plurality of features. The eigenvector determines the set of weighting coefficients of the human joint; weights the multiple eigenvectors according to the set of weighting coefficients of the human joint, and obtains the action characteristics of the human joint; determines the action characteristics of the human body according to the action characteristics of the human joint; and determines the action types of the human body according to the action characteristics of the human body. This application can improve the accuracy of motion recognition.

【技术实现步骤摘要】
动作识别、姿势估计的方法及装置
本申请涉及图像处理
，并且更具体地，涉及一种动作识别、姿势估计的方法及装置。
技术介绍
在很多场景下，需要对视频中的人体动作进行识别，以确定人体动作的动作类型。例如，在监控系统中，为了感知人的意图，需要对监控系统获取的视频中的人体动作进行识别，在人机交互系统中，为了对人的行为进行理解，需要对人机交互系统获取的视频中的人体动作进行识别。为了实现对视频中的人体动作的识别，现有方案是从待处理视频提取出某些帧的图片，然后采用卷积神经网络对图片进行特征提取，接下来再根据从图片中提取出来的特征向量确定人体的动作属于每个动作类型的置信度，然后将置信度最大(且置信度大于预设阈值)的动作类型确定为视频中的人体的动作类型。现有方案提取的是图片中的所有区域的特征，这些特征中包含了大量的与动作无关的特征，因此，最终进行动作识别的效果不好。另外，现有方案中还存在直接提取图片中的部分区域的特征来进行动作识别的方式，但是直接简单的提取图像部分区域的特征也可能无法较好地反映人体的动作特征，导致动作识别的准确率仍然较低。
技术实现思路
本申请提供一种动作识别方法、姿势估计方法及装置，能够提高动作识别的准确率。第一方面，提供了一种动作识别方法，所述方法包括：确定待处理视频，所述待处理视频为包含人体图像的视频；根据所述待处理视频确定待处理图像，所述待处理图像为下列图像中的至少一种：第一图像，根据所述待处理视频中的多帧图像生成的光流图像，其中，所述第一图像为所述待处理视频中的任意一帧图像，或者，所述第一图像为所述待处理视频中的多帧图像合成的图像；对所述待处理图像进行卷积处理，得到多个特征向量，其中，所述多个特征向量分别用于表示所述待处理图像不同位置的特征；根据所述多个特征向量确定所述人体的人体关节的权重系数集合，其中，所述人体关节的权重系数集合包括所述多个特征向量中的每个特征向量在所述人体关节的权重系数，第一类特征向量的权重系数大于或者等于第二类特征向量的权重系数，所述第一类特征向量对应在所述待处理图像中的位置和所述人体关节对应在所述待处理图像中的位置之间的距离为第一距离，所述第二类特征向量对应在所述待处理图像中的位置和所述人体关节对应在所述待处理图像中的位置之间的距离为第二距离，所述第一距离小于或者等于所述第二距离，所述人体关节的数量为多个，每个人体关节均对应一个权重系数集合；根据所述人体关节的权重系数集合对所述多个特征向量进行加权处理，得到所述人体关节的动作特征；根据所述人体关节的动作特征确定所述人体的动作特征；根据所述人体的动作特征，确定所述人体的动作类型。本申请中，第一类特征向量的权重系数大于或者等于第二类特征向量的权重系数，而第一类特征向量对应在待处理图像中的位置与人体关节对应在待处理图像中的位置的距离要小于或者等于第二类特征向量对应在待处理图像中的位置与人体关节对应在待处理图像中的位置的距离，因此，在本申请中，离人体关节越近的区域对应的特征向量的权重系数越大，这样能够使得待处理图像中与动作密切相关的特征在动作识别时占有较大的比重，而待处理图像中与动作不太相关的特征在动作识别时占有较小的比重，本申请在动作识别时充分考虑了待处理图像不同区域的特征在动作识别中的重要性，能够得到更加鲁棒的动作特征，从而能够提高动作识别的准确率。在一种可能的实现方式中，所述根据所述多个特征向量确定所述人体的人体关节的权重系数集合，包括：根据所述多个特征向量以及所述人体的累计动作信息，确定所述人体关节的权重系数集合，其中，所述人体的累计动作信息用于指示当前时刻之前累计的所述人体的动作特征。在确定人体关节的权重系数集合时，通过考虑当前时刻之前人体的累计动作信息，能够为与动作密切相关的特征向量确定更大的权重系数，进而提高动作识别的准确率。其中，所述当前时刻之前人体的累计动作信息可以通过但不限于递归神经网络获取，例如，当前时刻之前人体的累计动作信息可以通过长短期记忆模块(LongShortTermMemory，LSTM)来获取。在一种可能的实现方式中，所述根据所述人体关节的动作特征确定所述人体的动作特征，包括：对所述人体关节的动作特征进行加权或者组合，得到所述人体的动作特征。通过对人体关节的动作特征进行加权或者组合，能够使得与人体动作关系比较密切的人体关节的动作特征占据较大的比重，从而使得最终得到的人体的动作特征能够更好地反映人体的动作，进而提高动作识别的准确率。在一种可能的实现方式中，所述根据所述人体关节的动作特征确定所述人体的动作特征，包括：对所述人体关节的动作特征进行加权或者组合，得到人体部分的动作特征，其中，所述人体包含多个所述人体部分，每个人体部分包含至少一个人体关节；对所述人体部分的动作特征进行加权或者组合，得到所述人体的动作特征。根据人体关节的动作特征得到人体部分的动作特征，能够在部分关节被遮挡的情况下，通过该人体部分的其它关节的动作特征来提供动作信息，最终使得在人体部分关节被遮挡的情况也可以识别出人的动作类型。在一种可能的实现方式中，所述待处理图像包括所述第一图像和所述光流图像，所述对所述待处理图像进行卷积处理，得到多个特征向量，包括：对所述第一图像进行卷积处理，得到所述第一图像的多个特征向量；对所述光流图像进行卷积处理，得到所述光流图像的多个特征向量；所述根据所述多个特征向量确定所述人体的人体关节的权重系数集合，包括：根据所述第一图像的多个特征向量分别确定所述人体关节的第一类权重系数集合；根据所述光流图像的多个特征向量确定所述人体关节的第二类权重系数集合；所述根据所述人体关节的权重系数集合对所述多个特征向量进行加权处理，得到所述人体关节的动作特征，包括：根据所述第一类权重系数集合对所述第一图像的多个特征向量进行加权处理，得到所述人体关节的第一类动作特征；根据所述第二类权重系数集合对所述光流图像的多个特征向量进行加权处理，得到所述人体关节的第二类动作特征；所述根据所述人体关节的动作特征确定所述人体的动作特征，包括：对所述人体关节的第一类动作特征和所述人体关节的第二类动作特征进行加权或组合，得到所述人体的动作特征。通过对待处理视频中获取的第一图像以及光流图像提取特征，并根据从第一图像和光流图像中提取出来的特征来共同进行动作识别，既考虑到了待处理视频的中的人体动作的空间特征，也考虑到了待处理视频中的人体动作的时间变化特点，能够提高动作识别的准确性。在一种可能的实现方式中，所述方法还包括：对神经网络进行训练，确定所述神经网络中的参数，以使得由所述神经网络产生的所述第一类特征向量的权重系数大于或者等于所述第二类特征向量的权重系数，其中，所述神经网络用于执行所述第一方面以及第一方面中的任意一种可能的实现方式中的方法。第二方面，提供了一种姿势估计方法，所述方法包括：确定待处理视频，所述待处理视频为包含人体图像的视频；根据所述待处理视频确定待处理图像，所述待处理图像为下列图像中的至少一种：第一图像，根据所述待处理视频中的多帧图像生成的光流图像，其中，所述第一图像为所述待处理视频中的任意一帧图像，或者，所述第一图像为所述待处理视频中的多帧图像合成的图像；对所述待处理图像进行卷积处理，得到多个特征向量，其中，所述多个本文档来自技高网...

【技术保护点】
1.一种动作识别方法，其特征在于，包括：确定待处理视频，所述待处理视频为包含人体图像的视频；根据所述待处理视频确定待处理图像，所述待处理图像为下列图像中的至少一种：第一图像，根据所述待处理视频中的多帧图像生成的光流图像，其中，所述第一图像为所述待处理视频中的任意一帧图像，或者，所述第一图像为所述待处理视频中的多帧图像合成的图像；对所述待处理图像进行卷积处理，得到多个特征向量，其中，所述多个特征向量分别用于表示所述待处理图像不同位置的特征；根据所述多个特征向量确定所述人体的人体关节的权重系数集合，其中，所述人体关节的权重系数集合包括所述多个特征向量中的每个特征向量在所述人体关节的权重系数，第一类特征向量的权重系数大于或者等于第二类特征向量的权重系数，所述第一类特征向量对应在所述待处理图像中的位置和所述人体关节对应在所述待处理图像中的位置之间的距离为第一距离，所述第二类特征向量对应在所述待处理图像中的位置和所述人体关节对应在所述待处理图像中的位置之间的距离为第二距离，所述第一距离小于或者等于所述第二距离，所述人体关节的数量为多个，每个人体关节均对应一个权重系数集合；根据所述人体关节的权重系数集合对所述多个特征向量进行加权处理，得到所述人体关节的动作特征；根据所述人体关节的动作特征确定所述人体的动作特征；根据所述人体的动作特征，确定所述人体的动作类型。...

【技术特征摘要】
1.一种动作识别方法，其特征在于，包括：确定待处理视频，所述待处理视频为包含人体图像的视频；根据所述待处理视频确定待处理图像，所述待处理图像为下列图像中的至少一种：第一图像，根据所述待处理视频中的多帧图像生成的光流图像，其中，所述第一图像为所述待处理视频中的任意一帧图像，或者，所述第一图像为所述待处理视频中的多帧图像合成的图像；对所述待处理图像进行卷积处理，得到多个特征向量，其中，所述多个特征向量分别用于表示所述待处理图像不同位置的特征；根据所述多个特征向量确定所述人体的人体关节的权重系数集合，其中，所述人体关节的权重系数集合包括所述多个特征向量中的每个特征向量在所述人体关节的权重系数，第一类特征向量的权重系数大于或者等于第二类特征向量的权重系数，所述第一类特征向量对应在所述待处理图像中的位置和所述人体关节对应在所述待处理图像中的位置之间的距离为第一距离，所述第二类特征向量对应在所述待处理图像中的位置和所述人体关节对应在所述待处理图像中的位置之间的距离为第二距离，所述第一距离小于或者等于所述第二距离，所述人体关节的数量为多个，每个人体关节均对应一个权重系数集合；根据所述人体关节的权重系数集合对所述多个特征向量进行加权处理，得到所述人体关节的动作特征；根据所述人体关节的动作特征确定所述人体的动作特征；根据所述人体的动作特征，确定所述人体的动作类型。2.如权利要求1所述的方法，其特征在于，所述根据所述多个特征向量确定所述人体的人体关节的权重系数集合，包括：根据所述多个特征向量以及所述人体的累计动作信息，确定所述人体关节的权重系数集合，其中，所述人体的累计动作信息用于指示当前时刻之前累计的所述人体的动作特征。3.如权利要求1或2所述的方法，其特征在于，所述根据所述人体关节的动作特征确定所述人体的动作特征，包括：对所述人体关节的动作特征进行加权或者组合，得到所述人体的动作特征。4.如权利要求1或2所述的方法，其特征在于，所述根据所述人体关节的动作特征确定所述人体的动作特征，包括：对所述人体关节的动作特征进行加权或者组合，得到人体部分的动作特征，其中，所述人体包含多个所述人体部分，每个人体部分包含至少一个人体关节；对所述人体部分的动作特征进行加权或者组合，得到所述人体的动作特征。5.如权利要求1-4中任一项所述的方法，其特征在于，所述待处理图像包括所述第一图像和所述光流图像，所述对所述待处理图像进行卷积处理，得到多个特征向量，包括：对所述第一图像进行卷积处理，得到所述第一图像的多个特征向量；对所述光流图像进行卷积处理，得到所述光流图像的多个特征向量；所述根据所述多个特征向量确定所述人体的人体关节的权重系数集合，包括：根据所述第一图像的多个特征向量分别确定所述人体关节的第一类权重系数集合；根据所述光流图像的多个特征向量确定所述人体关节的第二类权重系数集合；所述根据所述人体关节的权重系数集合对所述多个特征向量进行加权处理，得到所述人体关节的动作特征，包括：根据所述第一类权重系数集合对所述第一图像的多个特征向量进行加权处理，得到所述人体关节的第一类动作特征；根据所述第二类权重系数集合对所述光流图像的多个特征向量进行加权处理，得到所述人体关节的第二类动作特征；所述根据所述人体关节的动作特征确定所述人体的动作特征，包括：对所述人体关节的第一类动作特征和所述人体关节的第二类动作特征进行加权或组合，得到所述人体的动作特征。6.一种姿势估计方法，其特征在于，包括：确定待处理视频，所述待处理视频为包含人体图像的视频；根据所述待处理视频确定待处理图像，所述待处理图像为下列图像中的至少一种：第一图像，根据所述待处理视频中的多帧图像生成的光流图像，其中，所述第一图像为所述待处理视频中的任意一帧图像，或者，所述第一图像为所述待处理视频中的多帧图像合成的图像；对所述待处理图像进行卷积处理，得到多个特征向量，其中，所述多个特征向量分别用于表示所述待处理图像不同位置的特征；根据所述多个特征向量确定所述人体的人体关节的权重系数集合，所述人体关节的权重系数集合包括所述多个特征向量中的每个特征向量在所述人体关节的权重系数，第一类特征向量的权重系数大于或者等于第二类特征向量的权重系数，所述第一类特征向量对应在所述待处理图像中的位置和所述人体关节对应在所述待处理图像中的位置之间的距离为第一距离，所述第二类特征向量对应在所述待处理图像中的位置和所述人体关节对应在所述待处理图像中的位置之间的距离为第二距离，所述第一距离小于或者等于所述第二距离，所述人体关节的数量为多个，每个人体关节均对应一个权重系数集合；将所述多个特征向量中的第一特征向量对应在所述待处理图像中的区域确定为所述人体关节的位置，其中，所述第一特征向量的权重系数为第一权重系数，所述第一权重系数为所述人体关节的权重系数集合中大于预设阈值的权重系数；根据所述人体关节的位置，确定所述人体的姿势。7.如权利要求6所述的方法，其特征在于，所述根据所述多个特征向量确定所述人体的人体关节的权重系数集合，包括：根据所述多个特征向量以及所述人体的累计动作信息，确定所述人体关节的权重系数集合，其中，所述人体的累计动作信息用于指示当前时刻之前累计的所述人体的动作特征。8.如权利要求6或7所述的方法，其特征在于，所述待处理图像包括所述第一图像和所述光流图像，所述对所述待处理图像进行卷积处理，得到多个特征向量，包括：对所述第一图像进行卷积处理，得到所述第一图像的多个特征向量；对所述光流图像进行卷积处理，得到所述光流图像的多个特征向量；所述根据所述多个特征向量确定所述人体的人体关节的权重系数集合，包括：根据所述第一图像的多个特征向量分别确定所述人体关节的第一类权重系数集合；根据所述光流图像的多个特征向量确定所述人体关节的第二类权重系数集合；根据所述第一类权重系数集合和所述第二类权重系数集合，确定所述人体关节的权重系数集合。9.如权利要求8所述的方法，其特征在于，所述根据所述第一类权重系数集合和所述第二类权重系数...

【专利技术属性】
技术研发人员：乔宇，杜文斌，王亚立，江立辉，刘健庄，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：广东,44