一种估计三维人体姿态及手部信息的方法技术

本发明专利技术为一种估计三维人体姿态及手部信息的方法，实现了一种新的以彩色深度相机单帧数据来自动准确的同时估计人体和手部的姿态以及人体实际体形的独特方法。首先将深度相机的关节预测与深度学习从彩色图预测关节的方法结合，同时获取人体的头部的转向解决现有技术不能匹配头部姿态的问题。同时，在人体估计中同时还原人手的姿态，使人体结果更形象具体，使用深度学习的方法从彩色图预测出手的3D姿态，然后使用3D人体关节拟合能量模型来完成人体姿态与最新的参数化人体模型SMPL+H的拟合。最后将获取的人体表面点云与拟合的模型进行配准提升人体形状估计的精确程度。籍此估计出一个准确的包含手部真实姿态的三维人体模型。

【技术实现步骤摘要】
一种估计三维人体姿态及手部信息的方法
本专利技术属于图像处理
，具体为一种估计三维人体姿态及手部信息的方法。
技术介绍
我们致力于以景深彩色相机/Kinect的单帧数据准确的估计穿着衣服的人的裸体形状及姿态，包括手部的准确状态。相对一些复杂的系统，我们仅使用一个消费级的深度相机，并且仅利用其一帧的数据即可真缺估计任意姿态下的人体。在此工作中，我们提出了创造性的混合关节预测方法，即将深度相机从深度数据预测到的人体关节与以深度学习方法从彩色图像预测到的3D关节相结合从而得到更准确鲁棒的关节位置，并能同时从相机得到人体的头部实际转向。同时我们能比较超前的同时估计出人手的姿态达到一个人“全体”的估计，为此我们进行人手的姿态的预测，然后建立一个新的以3D关节等信息拟合出人体的能量模型，辅以单面人体点云从而获取准确的估计结果。现存的工作或花费较大或较为复杂或有缺陷，我们的系统一定程度上填补了这项空缺。如图1，简单展示了我们的系统的内容。重建人体有很多相关的工作，但之前的工作都有着其缺陷或局限。文献[13,14]使用多立体相机系统获取3D扫描序列，结合模型[8]来重建人体，但花费昂贵。文献[3,4,5,6]使用多个位置的Kinect或彩色相机进行重建，文献[11,12]在多相机的基础上使用静态统计模型提升结果的鲁棒性。但上面这些方法依然需要较大的花费以及要求一定的空间，而我们的方法仅仅需要一个消费级的深度相机即可方便准确的估计出三维人体。也有一些工作致力于单相机的人体重建。文献[1,2]以单个相机的多角度数据进行重建，但要求人静止不动，而我们的方法只需要人在镜头前摆出随意姿势。文献[9,10]以单个深度相机获取人的一周的扫描序列结合人体模型来匹配估计人体，而我们只需要获取人的一帧的数据，对人的要求更低，过程更为迅速便捷。另有一些使用关节拟合的方式进行重建的方法，我们的方法与其类似。文献[15]只需要一张RGB图像即可估计人体，他们预测图像人体的2D姿态后，与模型[8]进行拟合，文献[16]作出改进，使用图像人体轮廓进行约束，但这些方法的结果非常依赖2D姿态的预测且2D姿态与3D维数的差距也会一定程度造成一些躯干四肢的耦合问题。当前的人体重建方法根据所采用的方式可以分为无模板的和基于模型的，而静态统计模型在其中占有相当的分量，下面我们从三个方面回顾相关的工作：1)人体模型；2)无模板的人体重建；3)基于模型的人体重建。人体模型。静态统计人体模型对人体重建可以提供很强的约束，使结果更加的鲁棒。扫描设备的发展，产生了丰富的人体扫描模型，Anguelov等[7]基于这些模型库建立了分开表示人体形状和姿态的统计模型，SCAPE模型以三角网格的变形来生成不同的姿态和形状,但是模型基于高维的特性使得其不利于计算。文献[22]在SCAPE标准姿态下的训练集顶点坐标上使用PCA，同时以线性混合蒙皮(LBS)来进行姿态变换，使SCAPE更有效率。为了增加形状空间的表现力，Chen等[23]将SCAPE与局部多线性模型进行结合。最近的模型来自是文献[8,24],前者使模型基于顶点变换，使用线性函数进行姿态和形状的变形，仅使用CPU即可进行实时动画且能直接用于各种渲染引擎，后者创建了基于身体局部的模型。Romero等[20]在SMPL上进行扩展，将手部模型嫁接到SMPL上得到SMPL+H模型，使模型更形象化还有一些文献[25]将动态软组织变形加入到模型变换中，使结果更加真实。无模板的人体重建。Xu等[26]仅从单目相机，对高质量纹理数据通过变形网格重建出柔性形文献[8]中的SMPL是一个基于顶点的参数化人体模型，能准确表示自然场景下人体各种姿态的各种体型。SMPL模型通过蒙皮函数进行变换，以姿态和形状参数作为输入，返回具有6890个顶点和13776个三角面的网格。形状参数β是一个长度为10的向量，使用PCA从扫描数据获取得到的低维形状空间，参数的变化可以表示各种体形。模型由23个关节点组成运动学链表示骨骼，每个关节点以长度为3的向量表示相对于其父节点的相对旋转，因此姿态参数θ包含23×3+3＝72个参数，所加的3是全局旋转。更多细节可以查看文献[8]。SMPL+H人体模型由文献[20]对SMPL进行了扩展，从31个对象大约1000个各种姿态下的高分辨率人手3D扫描数据学习出MANO模型，相比于SMPL模型有着很大的优势，该模型采用了与SMPL类似的训练过程，与SMPL有着相同的样式，具有低维的姿态参数，然后将MANO模型应用到SMPL模型得到人体模型和手模型的铰接SMPL+H，应用该模型我们可以估计出人手的姿态，同时为人体应用各种新的人体姿态和手部姿态(如图2)。新模型同样可以直接兼容当前的图形软件，且可以快速简单的应用。MANO手模型具有14个关节点，两只手则是28个关节点，为了易于计算将单只手的姿态参数用长度为6的向量表示，SMPL+H模型的姿态参数长度为72+6×2-3*2＝78，其中减去的部分是手模型与身体模型结合处重合的关节点，模型变形函数与SMPL相同。上述方法在精度和成本上不能兼顾，无法在消费级市场上在确保高精度的前提下有效推广。
技术实现思路
针对
技术介绍
中所述的不足，本专利技术提供一种估计三维人体姿态及手部信息的方法。其具体方法如下：一种估计三维人体姿态及手部信息的方法，由计算机按如下步骤进行：步骤1：通过景深彩色相机获取彩色图与深度图，并传递至计算机；所述景深彩色相机，可由RGB相机和深度相机/红外相机替代；步骤2：由计算机进行混合关节预测；步骤3：由计算机拟合人体模型到关节点，并约束头部方向估计人体姿态和体型；步骤4：由计算机使用点云数据对拟合结果进行细节优化；步骤5：由计算机对拟合过程进行优化，并输出结果。进一步说，所述景深彩色相机为一台具有RGB相机、深度传感器和/或红外投影机功能的相机，更进一步说，景深彩色相机为Kinect相机。进一步说，本专利技术的具体方法如下：首先，通过景深彩色相机的单帧数据作为输入，该单帧数据包含深度图，彩色图，以及相机从深度图计算得到的人体骨骼与头部方向数据；然后，使用混合预测的方法获取所需的3D骨骼关节点、3D人手关节点和人体3D点云数据，所述3D人手关节点可以接到骨骼关节点上组成一个更丰富更完整的3D人体骨骼，不带手的骨骼如图10所示，具体如下：采用最小化SMPL关节和数据3D关节之间的误差的目标函数，将文献[20]所述的SMPL+H模型准确拟合到3D骨骼关节点；所述3D骨骼关节点为混合预测后包括手指骨骼关节点在内的数据，将SMPL+H模型的3D关节点拟合到混合预测到的人体的3D关节点，模型的关节点是模型自有的，如图11是模型的关节点；通过最小化SMPL关节和数据3D关节/3D骨骼关节点之间的误差的目标函数，首先对人体姿态进行拟合，得到一个与真实人体姿态体型基本一致的模型；然后，将模型的头部方向约束到人体的头部方向并使用3D点云数据通过一个约束人体点云与模型表面的能量函数来对拟合结果的细节准确性进行进一步优化，从而得到最终的准确的人体估计结果。所述混合预测的方法：是将相机计算出来的身体骨骼(数据3D关节)与LCR-Net(文献18)从RGB图像预测的身体骨骼相结合，并结合文献[本文档来自技高网...

【技术保护点】
1.一种估计三维人体姿态及手部信息的方法，其特征在于，由计算机按如下步骤进行：步骤1：通过景深彩色相机获取彩色图与深度图，并传递至计算机；所述景深彩色相机，可由RGB相机和深度相机/红外相机替代；步骤2：由计算机进行混合关节预测；步骤3：由计算机拟合人体模型到关节点，并约束头部方向估计人体姿态和体型；步骤4：由计算机使用点云数据对拟合结果进行细节优化；步骤5：由计算机对拟合过程进行优化，并输出结果。

【技术特征摘要】
1.一种估计三维人体姿态及手部信息的方法，其特征在于，由计算机按如下步骤进行：步骤1：通过景深彩色相机获取彩色图与深度图，并传递至计算机；所述景深彩色相机，可由RGB相机和深度相机/红外相机替代；步骤2：由计算机进行混合关节预测；步骤3：由计算机拟合人体模型到关节点，并约束头部方向估计人体姿态和体型；步骤4：由计算机使用点云数据对拟合结果进行细节优化；步骤5：由计算机对拟合过程进行优化，并输出结果。2.根据权利要求1所述的一种估计三维人体姿态及手部信息的方法，其特征在于，所述景深彩色相机为一台具有RGB相机、深度传感器和红外投影机功能的相机，进一步说，景深彩色相机为Kinect相机。3.根据权利要求1所述的一种估计三维人体姿态及手部信息的方法，其特征在于，本发明的具体方法如下：首先，通过景深彩色相机的单帧数据作为输入，该单帧数据包含深度图，彩色图，以及相机从深度图计算得到的人体骨骼与头部方向数据；然后，使用混合预测的方法获取所需的3D骨骼关节点、3D人手关节点和人体3D点云数据，采用最小化SMPL关节和数据3D关节之间的误差的目标函数，将SMPL+H模型准确拟合到3D骨骼关节点；所述3D骨骼关节点为混合预测后包括手指骨骼关节点在内的数据；通过最小化SMPL关节和数据3D关节/3D骨骼关节点之间的误差的目标函数，首先对人体姿态进行拟合，得到一个与真实人体姿态体型基本一致的模型；然后，将模型的头部方向约束到人体的头部方向并使用3D点云数据通过一个约束人体点云与模型表面的能量函数来对拟合结果的细节准确性进行进一步优化，从而得到最终的准确的人体估计结果。4.根据权利要求1所述的一种估计三维人体姿态及手部信息的方法，其特征在于，步骤1的具体方法如下：景深彩色相机为微软的第二代Kinect设备，该设备包含RGB相机/彩色相机、红外深度传感器。5.根据权利要求1所述的一种估计三维人体姿态及手部信息的方法，其特征在于，步骤2的具体方法如下：由景深彩色相机获取被采样人体的25个关节点，其中某些关节点严重偏离，结合LCR-Net深度学习的方法从彩色图估计的13个人体3D关节点进行混合预测，从而获得准确的关节位置：对于不准确的关节点j，通过LCR-Net获得的关节点的关节角度来对其进行修正从而得到该关节点的准确位置j*：其中jp为该关节点在关节树上的父关节点，是指向z轴方向的单位向量，R为罗德里格斯旋转矩阵，当j在LCR-Net所预测的骨骼中对应的关节点为j′，我们通过下式计算R：其中E是三维单位矩阵，A为向量的反对称矩阵，j′p为jp在LCR-Net中对应的关节点，是j′在关节树上的父关节点。6.根据权利要求1所述的一种估计三维人体姿态及手部信息的方法，其特征在于，步骤3的具体方法如下：通过最小化SMPL标准模型与目标人体之间的偏差的目标函数来完成3D模型的拟合过程；为了获得准确的拟合结果，我们将目标函数定义为五个能量项的集合，具体为：E(β,θ,t)＝Ejoints+Epose+Eshape+Esphere+Ehead(7)其中，Ejoints是关节数据项，用来将模型拟合到实际人体；Epose和Eshape是姿态和形状先验项，用来防止拟合过程中模型异常的姿态和体形变化；Esphere是人体惩罚项，用来防止变化过程中人体身体之间发生异常重合渗透，例如模型的手臂变形到了人身体里；Ehead是头部数据项，用来将模型的头部方向拟合到人体实际头部方向。数据项：在该项将SMPL+H模型的3D关节点与前述关节点进行匹配，从而将模型变换到人的真实姿态和体形；在经过混合关节预测后，同时包括人体骨骼和手骨骼的关节点；具体方法为：通过最小化所获得的关节点与SMPL+H模型关节点之间的欧式距离来进行匹配：其中ωjoints是该项的权重，Ji和Jm,i分别是本方法获...

【专利技术属性】
技术研发人员：方贤勇，杨继魁，汪粼波，李薛剑，
申请(专利权)人：安徽大学，
类型：发明
国别省市：安徽,34