一种精确的三维手部姿态估计方法技术

本发明专利技术公开了一种精确的三维手部姿态估计方法，包括：步骤1，采用预先训练好的卷积神经网络对深度图像中的手势进行二维关节点检测，得出包含关节点二维信息的特征图；步骤2，依据关节点在手部中的约束关系和位置将手部关节点分为三个部分，利用步骤1得出的特征图，采用训练好的卷积神经网络按多阶段深度回归方式对手部关节点分成的三个部分进行深度回归处理，直至得出手部各关节点的深度坐标，完成三维手部姿态估计。通过分为二维手关节估计和多阶段深度回归两个子任务，通过三个阶段深度回归估计手部分成的三部分的关节点位置，每阶段会包含估计上一阶段估计内容。由于相邻关节点间的约束信息得到强化利用，提升了三维手部姿态估计的准确性。

【技术实现步骤摘要】
一种精确的三维手部姿态估计方法
本专利技术涉及图像处理领域，尤其涉及一种利用卷积神经网络对深度图像中的手势进行精确的三维手部姿态估计方法。
技术介绍
三维(3D)手势估计方法，通常可以分为生成方法、判别方法以及混合方法。近几年使用的比较多的是基于CNN的判别类手势估计方法。现有基于CNN的判别类手势估计方法又可分为基于2DCNN的手势估计方法和基于3DCNN的手势估计方法，目前基于2DCNN的手势估计方法是手势估计领域研究的主流。3DCNN的手势估计方法在一定程度上拥有比2DCNN的手势估计方法更强的提取输入图像深度信息的能力，但是，相比于2DCNN的手势估计方法，3DCNN的手势估计方法具有更多的参数和更高的网络复杂性，并且其运行成本大大增加。此外，当深度图像被映射到3D空间时，其可能导致信息丢失或添加不必要的信息并导致错误。最近几年，人们在研究基于2DCNN的手势估计方法的同时设计了一系列的模型来弥补2DCNN的手势估计方法与3DCNN的手势估计方法在信息提取上的差距。为了解决手的高度非线性问题，提出了对每根手指分别进行估计的方法，但对每根手指分别进行估计的方法虽然可以解决非线性问题，但却丢失了关节点间的信息。为了充分提取深度图像中的信息，人们提出了多任务的方法将手势估计任务分为几个子任务，并随着任务的一步一步的加深使得提取出来的信息越来越充分，现有的多任务方法大多是先提取深度图像的浅层信息，再进一步提取信息获得图像的高层语义。目前也有根据要提取的坐标维度将手势估计分为2D关节检测和深度回归两个任务的方法。但这种方法中，在深度回归处理时采用的是对整个手部进行直接深度回归，这样并未能充分利用原始图像中的深度信息，在估计深度坐标时会丢失关节点的深度信息，存在深度估计结果并不理想，无法精确估计三维手部姿态的问题。
技术实现思路
基于现有技术所存在的问题，本专利技术的目的是提供一种精确的三维手部姿态估计方法，能解决现有手关节二维位置估计方法由于将整个手部进行直接深度回归，未能充分利用原始图像中的深度信息，存在无法精确估计三维手部姿态的问题。本专利技术的目的是通过以下技术方案实现的：本专利技术一种精确的三维手部姿态估计方法，包括如下步骤：步骤1，采用预先训练好的卷积神经网络对深度图像中的手势进行二维关节点检测，得出包含关节点二维信息的特征图；步骤2，根据手部关节点之间的约束关系，依据关节点在手部中的位置将手部关节点分为三个部分，利用所述步骤1得出的包含关节点二维信息的特征图，采用预先训练好的所述卷积神经网络按多阶段深度回归方式对手部关节点分成的三个部分进行深度回归处理，直至得出手部各关节点的深度坐标，完成三维手部姿态估计；所述多阶段深度回归方式为：在对选定的手部的第一个部分进行第一阶段深度处理后，后续每个阶段深度估计的部分均包含前一阶段深度估计的部分，并在此基础上增加对新的部分的估计。由上述本专利技术提供的技术方案可以看出，本专利技术实施例提供的精确的三维手部姿态估计方法，其有益效果为：进行深度估计时，利用了邻近关节点的约束关系将手部分为三个部分，以分阶段方式对各部分进行深度回归处理，在每一阶段关节点深度估计时会再次估计上一阶段估计的关节点的深度信息，并选取最后一个阶段对于所有关节点的估计作为最终结果，强化了相邻关节点间的信息的利用率，因此在深度回归处理过程中不会造成信息损失，相比现有直接对整个手部进行深度回归的方法，能精确的估计三维手部姿态。通过评估，本专利技术的方法在进行三维手部姿态估计时表现出较好的性能。附图说明为了更清楚地说明本专利技术实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他附图。图1为本专利技术实施例提供的精确的三维手部姿态估计方法的流程图；图2为本专利技术实施例提供的精确的三维手部估计姿态估计方法的多阶段深度回归的流程图；图3为本专利技术实施例提供的精确的三维手部姿态估计方法训练的流程图；图4为本专利技术实施例提供的精确的三维手部姿态估计方法所用的神经网络的构成示意图；图5为本专利技术实施例提供的手部模型以及相邻关节点模型的示意图，其中，选中手指的根节点与中间关节点作为示意图，(a)为手关节点模型，(b)为选取的相邻关节点在2D平面的运动模型，(c)为选取的关节点在高度与深度构成的平面上的运动模型；其中d为两个关节点的距离；θ为中间关节点相对于根节点的在2D平面能够运动的角度；α为中间结点相对于根节点的在深度空间中能够运动的角度。具体实施方式下面结合本专利技术的具体内容，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术的保护范围。本专利技术实施例中未作详细描述的内容属于本领域专业技术人员公知的现有技术。如图1所示，本专利技术实施例提供一种精确的三维手部姿态估计方法，是一种能获得精确的关节点深度坐标的方法，包括如下步骤：步骤1，采用预先训练好的卷积神经网络对深度图像中的手势进行二维关节点检测，得出包含关节点二维信息的特征图；步骤2，根据手部关节点之间的约束关系，依据关节点在手部中的位置将手部关节点分为三个部分，利用所述步骤1得出的包含关节点二维信息的特征图，采用预先训练好的所述卷积神经网络按多阶段深度回归方式对手部关节点分成的三个部分进行深度回归处理，直至得出手部各关节点的深度坐标，完成三维手部姿态估计；所述多阶段深度回归方式为：在对选定的手部的第一个部分进行第一阶段深度处理后，后续每个阶段估计的部分均包含前一阶段估计的部分，并在此基础上增加对新的部分的估计。上述方法步骤2中，根据手部邻近关节点之间的约束关系，依据关节点在手部中的位置将手部关节点分为三个部分为：手指根节点部分、中间关节点部分和指间关节点部分，其中，所述手指根节点部分包括掌心和每根手指的根节点；利用所述步骤1得出的包含关节点二维信息的特征图，采用预先训练好的所述卷积神经网络按多阶段深度回归方式对手部关节点分成的三个部分进行深度回归处理具体包括如下步骤(参见图2)：步骤21、通过所述卷积神经网络对所述包含关节点二维信息的特征图进行回归处理得到包含手指根节点部分深度坐标的特征图；步骤22、所述卷积神经网络以所述步骤21得出的特征图作为输入进行迭代处理；步骤23、对所述卷积神经网络当前回归处理的输出进行几次上采样处理，得到与所述卷积神经网络开始回归处理时输入的特征图尺寸相同的特征图；步骤24、通过特征连接方式将所述步骤23得到的特征图的输出特征与所述步骤1得到特征图的输出特征融合，将融合得到的结果作为所述卷积神经网络下一阶段回归处理的输入，并在第二阶段估计出根部关节点部分和中间关节点本文档来自技高网...

【技术保护点】
1.一种精确的三维手部姿态估计方法，其特征在于，包括如下步骤：/n步骤1，采用预先训练好的卷积神经网络对深度图像中的手势进行二维关节点检测，得出包含关节点二维信息的特征图；/n步骤2，根据手部关节点之间的约束关系，依据关节点在手部中的位置将手部关节点分为三个部分，利用所述步骤1得出的包含关节点二维信息的特征图，采用预先训练好的所述卷积神经网络按多阶段深度回归方式对手部关节点分成的三个部分进行深度回归处理，直至得出手部各关节点的深度坐标，完成三维手部姿态估计；所述多阶段深度回归方式为：在对选定的手部的第一个部分进行第一阶段深度处理后，后续每个阶段估计的部分均包含前一阶段估计的部分，并在此基础上增加对新的部分的估计。/n

【技术特征摘要】
1.一种精确的三维手部姿态估计方法，其特征在于，包括如下步骤：
步骤1，采用预先训练好的卷积神经网络对深度图像中的手势进行二维关节点检测，得出包含关节点二维信息的特征图；
步骤2，根据手部关节点之间的约束关系，依据关节点在手部中的位置将手部关节点分为三个部分，利用所述步骤1得出的包含关节点二维信息的特征图，采用预先训练好的所述卷积神经网络按多阶段深度回归方式对手部关节点分成的三个部分进行深度回归处理，直至得出手部各关节点的深度坐标，完成三维手部姿态估计；所述多阶段深度回归方式为：在对选定的手部的第一个部分进行第一阶段深度处理后，后续每个阶段估计的部分均包含前一阶段估计的部分，并在此基础上增加对新的部分的估计。


2.根据权利要求1所述的精确的三维手部姿态估计方法，其特征在于，所述方法步骤2中，根据手部邻近关节点之间的约束关系，依据关节点在手部中的位置将手部关节点分为三个部分为：
手指根节点部分、中间关节点部分和指间关节点部分，其中，所述手指根节点部分包括掌心和每根手指的根节点；
利用所述步骤1得出的包含关节点二维信息的特征图，采用预先训练好的所述卷积神经网络按多阶段深度回归方式对手部关节点分成的三个部分进行深度回归处理具体包括如下步骤：
步骤21、通过所述卷积神经网络对所述包含关节点二维信息的特征图进行回归处理得到包含手指根节点部分深度坐标的特征图；
步骤22、所述卷积神经网络以所述步骤21得出的特征图作为输入进行迭代处理；
步骤23、对所述卷积神经网络当前回归处理的输出进行几次上采样处理，得到与所述卷积神经网络开始回归处理时输入的特征图尺寸相同的特征图；
步骤24、通过特征连接方式将所述步骤23得到的特征图的输出特征与所述步骤1得到特征图的输出特征融合，将融合得到的结果作为所述卷积神经网络下一阶段回归处理的输入，并在第二阶段估计出根部关节点部分和中间关节点部分；
步骤25、重复所述步骤23和步骤...

【专利技术属性】
技术研发人员：叶中付，张兄全，
申请(专利权)人：中国科学技术大学，
类型：发明
国别省市：安徽;34