姿态识别方法、装置、介质和计算设备制造方法及图纸

本发明专利技术的实施方式提供了一种姿态识别方法。该方法包括获取待识别图像，该待识别图像中包括目标对象；根据待识别图像确定第一向量，该第一向量表征目标对象的姿态；以第一向量作为深度神经网络模型的输入，输出第二向量，该第二向量包括表征目标对象关于多个预定姿态中每一个的置信度；以及根据第二向量，确定目标对象的姿态。本发明专利技术的方法通过确定表征目标对象姿态的第一向量来确定目标对象关于预定姿态的置信度，可以提高目标对象姿态识别的准确性。此外，本发明专利技术的实施方式提供了一种姿态识别装置、介质和计算设备。

【技术实现步骤摘要】
姿态识别方法、装置、介质和计算设备
本专利技术的实施方式涉及信息处理领域，更具体地，本专利技术的实施方式涉及一种姿态识别方法、装置、介质和计算设备。
技术介绍
本部分旨在为权利要求书中陈述的本专利技术的实施方式提供背景或上下文。此处的描述不因为包括在本部分中就承认是现有技术。随着电子技术的发展，为了提高交互体验，各种人机交互方式应运而生。人机交互模式随着使用人群的扩大，不断向非专业人群渗透，因此，越来越回归至一种“自然”的方式。其中，姿态(具体例如可以是手势)识别技术即为“自然”方式的一种。姿态识别技术中，静态姿态识别的准确性是进行人机交互的关键。不准确的静态姿态识别会造成交互误触发，延迟触发等严重影响用户体验的情况。目前主流的姿态识别方法主要有模板匹配方法、基于Hu不变距的深度图静态姿态识别方法及基于卷积神经网络的识别方法。其中，模板匹配方法对于复杂数据的鲁棒性较差，且处理效率较低。基于Hu不变距的姿态识别对图像噪声(例如部分姿态被遮挡)比较敏感，且计算比较复杂，用时较长。基于卷积神经网络的识别方法由于以彩色图像作为输入，因此容易受到环境光照的影响，需要进行一些复杂的预处理来修正图像，且其对于轮廓外形相似的姿态(例如单独伸出食指的姿态和单独伸出中指的姿态)，在没有额外信息作为输入的情况下，很难对该姿态进行正确识别。
技术实现思路
因此在现有技术中，采用现有的姿态识别方法存在识别精确度低、识别操作复杂等问题。为此，非常需要一种改进的姿态识别方法，以提高姿态识别准确率及姿态识别效率。在本上下文中，本专利技术的实施方式期望提供能够准确识别外形轮廓相似的姿态，并因此提高姿态识别准确率的姿态识别方法。在本专利技术实施方式的第一方面中，提供了一种姿态识别方法，包括：获取待识别图像，该待识别图像中包括目标对象；根据待识别图像确定第一向量，该第一向量表征目标对象的姿态；以第一向量作为深度神经网络模型的输入，输出第二向量，该第二向量包括表征目标对象关于多个预定姿态中每一个的置信度；以及根据第二向量，确定目标对象的姿态。在本专利技术的一个实施例中，上述根据待识别图像确定第一向量包括：以待识别图像作为卷积神经网络模型的输入，输出第一向量。在本专利技术的另一个实施例中，上述根据待识别图像确定第一向量包括：确定表征目标对象的姿态的一个或多个关键点；以待识别图像的任一点为原点，确定一个或多个关键点的三维坐标值；以及对一个或多个关键点的三维坐标值进行归一化处理，由经归一化处理得到的一个或多个关键点的归一化三维坐标值组成第一向量。在本专利技术的又一个实施例中，上述目标对象包括手，上述一个或多个关键点为多个关键点，该多个关键点中的一个关键点为手的掌心对应的关键点，其他关键点为手的关节对应的关键点。在本专利技术的再一个实施例中，上述姿态识别方法还包括：获取多个样本图像，每个样本图像包括目标对象，且每个样本图像各自具有标签，该标签指示了每个样本图像包括的目标对象的姿态信息；根据多个样本图像，逐样本图像的确定第三向量，该第三向量表征样本图像包括的目标对象的姿态，且该第三向量具有所述标签；对至少一个第三向量进行向量变换，得到与至少一个第三向量对应的至少一个第四向量，其中，以至少一个第三向量的标签分别作为对应的至少一个第四向量的标签；以及以多个第三向量及至少一个第四向量作为样本数据，以每个样本数据各自具有的标签指示的每个样本图像包括的目标对象的姿态信息为目标，采用随机梯度下降的反向传播算法对深度神经网络模型进行训练。在本专利技术的再一个实施例中，上述深度神经网络模型包括输入层、升维层、降维激活层及分类层。其中，输入层用于输入第一向量。升维层用于将第一向量投影至高维空间，得到第五向量。降维激活层用于对第五向量进行非线性处理及降维处理，得到第六向量。分类层用于对第六向量进行加权求和得到第二向量。在本专利技术的再一个实施例中，上述待识别图像包括前景图像，该前景图像包括具有目标对象的第一区域。上述姿态识别方法还包括对待识别图像进行预处理。该预处理包括：提取第一区域的图像；以及对第一区域的图像进行归一化处理。其中，第一向量根据经预处理得到的第一区域的图像确定。在本专利技术实施方式的第二方面中，提供了一种姿态识别装置，该装置包括待识别图像获取模块、第一向量确定模块、置信度确定模块和姿态确定模块。待识别图像获取模块用于获取待识别图像，该待识别图像中包括目标对象。第一向量确定模块用于根据待识别图像确定第一向量，该第一向量表征目标对象的姿态。置信度确定模块用于以第一向量作为深度神经网络模型的输入，输出第二向量，该第二向量包括表征目标对象关于多个预定姿态中每一个的置信度。姿态确定模块用于根据第二向量，确定目标对象的姿态。在本专利技术的一个实施例中，上述第一向量确定模块具体用于以待识别图像作为卷积神经网络模型的输入，输出第一向量。在本专利技术的另一个实施例中，上述第一向量确定模块包括关键点确定子模块、坐标确定子模块以及第一归一化处理子模块。其中，关键点确定子模块用于确定表征目标对象的姿态的一个或多个关键点。坐标确定子模块用于以待识别图像的任一点为原点，确定一个或多个关键点的三维坐标值。第一归一化处理子模块用于对一个或多个关键点的三维坐标值进行归一化处理，由经归一化处理得到的一个或多个关键点的归一化三维坐标值组成第一向量。在本专利技术的又一个实施例中，上述目标对象包括手，上述一个或多个关键点为多个关键点，该多个关键点中的一个关键点为手的掌心对应的关键点，其他关键点为手的关节对应的关键点。在本专利技术的再一个实施例中，上述姿态识别装置还包括样本图像获取模块、第二向量确定模块、向量变换模块及模型训练模块。其中，样本图像获取模块用于获取多个样本图像，每个样本图像包括目标对象，且每个样本图像各自具有标签，该标签指示了每个样本图像包括的目标对象的姿态信息。第二向量确定模块用于根据多个样本图像，逐样本图像的确定第三向量，该第三向量表征样本图像包括的目标对象的姿态，该第三向量具有所述标签。向量变换模块用于对至少一个第三向量进行向量变换，得到与至少一个第三向量对应的至少一个第四向量，其中，以至少一个第三向量的标签分别作为对应的至少一个第四向量的标签。模型训练模块用于以多个第三向量及至少一个第四向量作为样本数据，以每个样本数据各自具有的标签指示的每个样本图像包括的目标对象的姿态信息为目标，采用随机梯度下降的反向传播算法对深度神经网络模型进行训练。在本专利技术的再一个实施例中，上述深度神经网络模型包括输入层、升维层、降维激活层及分类层。其中，输入层用于输入第一向量。升维层用于将第一向量投影至高维空间，得到第五向量。降维激活层用于对第五向量进行非线性处理及降维处理，得到第六向量。分类层用于对第六向量进行加权求和得到第二向量。在本专利技术的再一个实施例中，上述待识别图像包括前景图像，该前景图像包括具有目标对象的第一区域。上述姿态识别装置还包括预处理模块，用于对待识别图像进行预处理。该预处理模块具体包括提取子模块和第二归一化处理子模块。提取子模块用于提取第一区域的图像，第二归一化处理子模块用于对第一区域的图像进行归一化处理。其中，第一向量根据经预处理得到的第一区域的图像确定。在本专利技术实施方式的第三方面中，提供了一种计算机可读存储介质，其上存储有可执行指本文档来自技高网...

【技术保护点】
1.一种姿态识别方法，包括：获取待识别图像，所述待识别图像中包括目标对象；根据所述待识别图像确定第一向量，所述第一向量表征所述目标对象的姿态；以所述第一向量作为深度神经网络模型的输入，输出第二向量，所述第二向量包括表征所述目标对象关于多个预定姿态中每一个的置信度；以及根据所述第二向量，确定所述目标对象的姿态。

【技术特征摘要】
1.一种姿态识别方法，包括：获取待识别图像，所述待识别图像中包括目标对象；根据所述待识别图像确定第一向量，所述第一向量表征所述目标对象的姿态；以所述第一向量作为深度神经网络模型的输入，输出第二向量，所述第二向量包括表征所述目标对象关于多个预定姿态中每一个的置信度；以及根据所述第二向量，确定所述目标对象的姿态。2.根据权利要求1所述的方法，其中，所述根据所述待识别图像确定第一向量包括：以所述待识别图像作为卷积神经网络模型的输入，输出所述第一向量。3.根据权利要求1所述的方法，其中，所述根据所述待识别图像确定第一向量包括：确定表征所述目标对象的姿态的一个或多个关键点；以所述待识别图像的任一点为原点，确定所述一个或多个关键点的三维坐标值；以及对所述一个或多个关键点的三维坐标值进行归一化处理，由经归一化处理得到的所述一个或多个关键点的归一化三维坐标值组成所述第一向量。4.根据权利要求3所述的方法，其中，所述目标对象包括手，所述一个或多个关键点为多个关键点，所述多个关键点中的一个关键点为所述手的掌心对应的关键点，其他关键点为所述手的关节对应的关键点。5.根据权利要求1所述的方法，还包括：获取多个样本图像，每个样本图像包括所述目标对象，且所述每个样本图像各自具有标签，所述标签指示了所述每个样本图像包括的目标对象的姿态信息；根据所述多个样本图像，逐样本图像的确定第三向量，所述第三向量表征样本图像包括的目标对象的姿态，所述第三向量具有所述标签；对至少一个第三向量进行向量变换，得到与所述至少一个第三向量对应的至少一个第四向量，其中，以所述至少一个第三向量的标签分别作为对应的所述至少一个第四向量...

【专利技术属性】
技术研发人员：简睿卿，周志敏，丛林，
申请(专利权)人：网易杭州网络有限公司，
类型：发明
国别省市：浙江,33