一种精确的三维手部姿态估计方法技术

本发明专利技术公开了一种精确的三维手部姿态估计方法，包括：步骤1，采用预先训练好的卷积神经网络对深度图像中的手势进行二维关节点检测，得出包含关节点二维信息的特征图；步骤2，依据关节点在手部中的约束关系和位置将手部关节点分为三个部分，利用步骤1得出的特征图，采用训练好的卷积神经网络按多阶段深度回归方式对手部关节点分成的三个部分进行深度回归处理，直至得出手部各关节点的深度坐标，完成三维手部姿态估计。通过分为二维手关节估计和多阶段深度回归两个子任务，通过三个阶段深度回归估计手部分成的三部分的关节点位置，每阶段会包含估计上一阶段估计内容。由于相邻关节点间的约束信息得到强化利用，提升了三维手部姿态估计的准确性。

【技术实现步骤摘要】
一种精确的三维手部姿态估计方法
本专利技术涉及图像处理领域，尤其涉及一种利用卷积神经网络对深度图像中的手势进行精确的三维手部姿态估计方法。
技术介绍
三维(3D)手势估计方法，通常可以分为生成方法、判别方法以及混合方法。近几年使用的比较多的是基于CNN的判别类手势估计方法。现有基于CNN的判别类手势估计方法又可分为基于2DCNN的手势估计方法和基于3DCNN的手势估计方法，目前基于2DCNN的手势估计方法是手势估计领域研究的主流。3DCNN的手势估计方法在一定程度上拥有比2DCNN的手势估计方法更强的提取输入图像深度信息的能力，但是，相比于2DCNN的手势估计方法，3DCNN的手势估计方法具有更多的参数和更高的网络复杂性，并且其运行成本大大增加。此外，当深度图像被映射到3D空间时，其可能导致信息丢失或添加不必要的信息并导致错误。最近几年，人们在研究基于2DCNN的手势估计方法的同时设计了一系列的模型来弥补2DCNN的手势估计方法与3DCNN的手势估计方法在信息提取上的差距。为了解决手的高度非线性问题，提出了对每根手指分别进行估计的方法，本文档来自技高网...

【技术保护点】
1.一种精确的三维手部姿态估计方法，其特征在于，包括如下步骤：/n步骤1，采用预先训练好的卷积神经网络对深度图像中的手势进行二维关节点检测，得出包含关节点二维信息的特征图；/n步骤2，根据手部关节点之间的约束关系，依据关节点在手部中的位置将手部关节点分为三个部分，利用所述步骤1得出的包含关节点二维信息的特征图，采用预先训练好的所述卷积神经网络按多阶段深度回归方式对手部关节点分成的三个部分进行深度回归处理，直至得出手部各关节点的深度坐标，完成三维手部姿态估计；所述多阶段深度回归方式为：在对选定的手部的第一个部分进行第一阶段深度处理后，后续每个阶段估计的部分均包含前一阶段估计的部分，并在此基础上增...

【技术特征摘要】
1.一种精确的三维手部姿态估计方法，其特征在于，包括如下步骤：
步骤1，采用预先训练好的卷积神经网络对深度图像中的手势进行二维关节点检测，得出包含关节点二维信息的特征图；
步骤2，根据手部关节点之间的约束关系，依据关节点在手部中的位置将手部关节点分为三个部分，利用所述步骤1得出的包含关节点二维信息的特征图，采用预先训练好的所述卷积神经网络按多阶段深度回归方式对手部关节点分成的三个部分进行深度回归处理，直至得出手部各关节点的深度坐标，完成三维手部姿态估计；所述多阶段深度回归方式为：在对选定的手部的第一个部分进行第一阶段深度处理后，后续每个阶段估计的部分均包含前一阶段估计的部分，并在此基础上增加对新的部分的估计。


2.根据权利要求1所述的精确的三维手部姿态估计方法，其特征在于，所述方法步骤2中，根据手部邻近关节点之间的约束关系，依据关节点在手部中的位置将手部关节点分为三个部分为：
手指根节点部分、中间关节点部分和指间关节点部分，其中，所述手指根节点部分包括掌心和每根手指的根节点；
利用所述步骤1得出的包含关节点二维信息的特征图，采用预先训练好的所述卷积神经网络按多阶段深度回归方式对手部关节点分成的三个部分进行深度回归处理具体包括如下步骤：
步骤21、通过所述卷积神经网络对所述包含关节点二维信息的特征图进行回归处理得到包含手指根节点部分深度坐标的特征图；
步骤22、所述卷积神经网络以所述步骤21得出的特征图作为输入进行迭代处理；
步骤23、对所述卷积神经网络当前回归处理的输出进行几次上采样处理，得到与所述卷积神经网络开始回归处理时输入的特征图尺寸相同的特征图；
步骤24、通过特征连接方式将所述步骤23得到的特征图的输出特征与所述步骤1得到特征图的输出特征融合，将融合得到的结果作为所述卷积神经网络下一阶段回归处理的输入，并在第二阶段估计出根部关节点部分和中间关节点部分；
步骤25、重复所述步骤23和步骤...

【专利技术属性】
技术研发人员：叶中付，张兄全，
申请(专利权)人：中国科学技术大学，
类型：发明
国别省市：安徽;34