三维手部识别方法、装置、电子设备及存储介质制造方法及图纸

本实施例提供的三维手部识别方法、装置、电子设备及存储介质，通过先识别获得手部的二维关节点坐标，再利用转换模型对这些关节点坐标进行从二维至三维的坐标转换，进而得到手部在三维坐标系下的各关节点坐标，并基于此建立三维手部模型。通过这样的方式，能够将二维图像中的手势或手型，以三维手部模型的方式进行呈现，其可广泛运用于各类基于三维手部模型进行控制的场景，控制的灵活性得到有效提高。

3D hand recognition method, device, electronic equipment and storage medium

【技术实现步骤摘要】
三维手部识别方法、装置、电子设备及存储介质
本公开实施例涉及图像处理领域，尤其涉及一种三维手部识别方法、装置、电子设备及存储介质。
技术介绍
对于图像中手势或手型的进行手部识别广泛运用在各类场景交互中。随着机器学习算法的发展，利用神经网络模型对图像中出现的手部进行自动识别成为可能。在现有技术中，需要通过图像采集设备对手势或手型进行图像采集获得待识别图像，基于神经网络模型对待识别图像中的手型或手势进行识别，其中的待识别图像是二维图像，而获得的识别结果也为手型或手势在二维平面上的投影。但是，随着智能领域的发展，基于三维的手势或手型也可应用于与设备的交互中，因此，亟需一种可识别三维手势或手型的方法，以满足应用需求。
技术实现思路
针对上述问题，本公开提供了一种三维手部识别方法、装置、电子设备及存储介质。第一方面，本公开实施例提供一种三维手部识别方法，包括：获得待识别的手部图像；利用手部二维关节点识别模型，对所述待识别的手部图像进行处理，获得手部在二维图像坐标系下的各关节点坐标；利用手本文档来自技高网...

【技术保护点】
1.一种三维手部识别方法，其特征在于，包括：/n获得待识别的手部图像；/n利用手部二维关节点识别模型，对所述待识别的手部图像进行处理，获得手部在二维图像坐标系下的各关节点坐标；/n利用手部三维关节点转换模型对手部在二维图像坐标系下的各关节点坐标进行转换，获得手部在三维坐标系下的各关节点坐标；/n根据所述手部在三维坐标系下的各关节点坐标，生成并输出三维手部模型。/n

【技术特征摘要】
1.一种三维手部识别方法，其特征在于，包括：
获得待识别的手部图像；
利用手部二维关节点识别模型，对所述待识别的手部图像进行处理，获得手部在二维图像坐标系下的各关节点坐标；
利用手部三维关节点转换模型对手部在二维图像坐标系下的各关节点坐标进行转换，获得手部在三维坐标系下的各关节点坐标；
根据所述手部在三维坐标系下的各关节点坐标，生成并输出三维手部模型。


2.根据权利要求1所述的三维手部识别方法，其特征在于，所述手部三维关节点转换模型为残差网络模型；
所述利用手部三维关节点转换模型对手部在二维图像坐标系下的各关节点坐标进行转换，获得手部在三维坐标系下的各关节点坐标，包括：
将手部在二维图像坐标系下的各关节点坐标输入至残差网络模型，以使所述残差网络模型对手部在二维图像坐标系下的各关节点坐标进行残差处理，获得手部在三维坐标系下的各关节点坐标。


3.根据权利要求2所述的三维手部识别方法，其特征在于，所述残差网络模型由第一映射层、第一全连接层、第二全连接层以及第二映射层构成；其中，每一全连接层包括串联的两个全连接子模块；
相应的，所述将手部在二维图像坐标系下的各关节点坐标输入至残差网络模型，以使所述残差网络模型对手部在二维图像坐标系下的各关节点坐标进行残差处理，获得手部在三维坐标系下的各关节点坐标，包括：
将包括有手部在二维图像坐标系下的各关节点坐标输入至第一映射层，以使所述第一映射层将其映射为第一输入向量；
将所述第一输入向量输入至所述残差网络模型的第一全连接层中，以使所述第一全连接层中的两个全连接子模块依次对所述第一输入向量进行处理，得到第一处理向量；
将所述第一输入向量与所述第一处理向量进行叠加，得到所述第一全连接层输出的第一输出向量；
将第一输出向量将作为第二输入向量输入至所述残差网络模型的第二全连接层中，以使所述第二全连接层中的两个全连接子模块依次对所述第二输入向量进行处理，得到第二处理向量；
将所述第二输入向量与所述第二处理向量进行叠加，得到所述第二全连接层输出的第二输出向量；
将第二输出向量输入至第二映射层，以使所述第二映射层对所述第二输出向量进行映射，获得手部在三维坐标系下的各关节点坐标。


4.根据权利要求1-3任一项所述的三维手部识别方法，其特征在于，还包括：
建立待训练的手部二维关节点识别模型，并获得手部二维关节点识别模型的训练样本；其中，所述手部二维关节点识别模型的训练样本包括：手部图像样本、以及手部图像样本中的手部在二维图像坐标系下的各关节点坐标；
利用所述手部二维关节点识别模型的训练样本对待训练的手部二维关节点识别模型进行训练，获得训练完毕的手部二维关节点识别模型。


5.根据权利要求1-3任一项所述的三维手部识别方法，其特征在于，还包括：
建立待训练的手部三维关节点转换模型，并获得手部三维关节点转换模型的训练样本；其中，所述手部三维关节点转换模型的训练样本包括：手部在二维图像坐标系下的各关节点坐标，以及对应的手部在三维坐标系下的各关节点坐标；
利用所述手部三维关节点转换模型的训练样本对待训练的手部三维关节点转换模型进行训练，获得训练完毕的手部三维关节点转换模型。


6.一种三维的三维手部识别装置，其特征在于，包括：
获取模块，用于获得待识别的手部图像；
识别模块...

【专利技术属性】
技术研发人员：卢艺帆，
申请(专利权)人：北京字节跳动网络技术有限公司，
类型：发明
国别省市：北京;11