三维人体运动捕获方法与系统技术方案

本发明专利技术提供一种三维人体运动捕获方法，该方法从捕获的当前帧的深度图像中提取虚拟标记点，接着从人体姿态数据库中选择其虚拟标记点位置与所提取的虚拟标记点的位置匹配的人体姿态。其中，人体姿态数据库包括以由人体骨架各关节自由度构成的向量表示的人体姿态。该方法减少了需要维护的数据规模，降低数据检索难度，而且可灵活地适应各种身材尺寸的运动对象。

【技术实现步骤摘要】

本专利技术涉及计算机视觉和计算机图形学领域，尤其涉及用于进行三维人体运动实时捕获的方法
技术介绍
基于深度数据的三维人体运动捕获是计算机视觉和计算机图形学领域的一个热点问题。利用所捕获的三维人体运动姿态序列，既可以实时动态地生成三维人体骨骼动画，完成人机交互控制等任务，如游戏控制、社交网络等应用领域；也可以通过运动重定向和蒙皮技术，实时驱动生成自然的虚拟三维角色动画，如三维游戏开发和三维电影制作等专业领域。常见的基于深度数据的人体运动捕获系统是微软的Kinect，其基本原理是基于运动捕捉系统(例如，Vico系统)的运动捕获数据库离线训练随机决策森林，然后根据事先训练好的随机决策森林从在线捕获的深度数据中自动识别三维人体运动姿态。然而这种方法受到深度数据噪声、随机决策森林泛化能力，以及人体运动中肢体遮挡等因素的影响，重建的三维人体运动姿态并不理想。另一类型的人体运动捕获方法是基于数据驱动的方法。例如，根据标准尺寸三维人体模型生成的不同人体姿态下三维人体几何模型数据库或对应的多角度投影深度数据数据库，通过比较所捕获的深度点云与数据库样本间的相似性进行候选姿态检索，再通过姿态投票或非刚体注册等方法重建人体姿态。但这样的方法在运动对象身材尺寸与数据库中标准尺寸的人体模型相差较大时，重建的三维人体运动姿态也并不理想。
技术实现思路
因此，本专利技术的目的在于克服上述现有技术的缺陷，提供一种新的三维人体运动实时捕获方法与系统，从捕获的深度图像中实时在线地跟踪三维人体运动。本专利技术的目的是通过以下技术方案实现的：一方面，本专利技术提供了一种三维人体运动捕获方法，包括：步骤1，从捕获的当前帧的深度图像中提取虚拟标记点，每个虚拟标记点指示人体骨架的一个肢体段；步骤2，从人体姿态数据库中选择其虚拟标记点位置与所提取的虚拟标记点的位置匹配的人体姿态；其中，所述人体姿态数据库包括一个或多个人体姿态，每个人体姿态以由人体骨架各关节自由度构成的向量来表示。在上述方法中，所述人体姿态数据库中每个人体姿态的虚拟标记点位置可以通过下面的步骤来标定的：a)捕获运动对象在标准参考姿态下的深度图像数据；b)确定所捕获的深度图像数据中各像素点属于人体骨架的哪个肢体段；c)将与每个肢体段对应的像素点集合拟合成圆柱体模型以确定各肢体段的长度和半径；d)为各肢体段设定虚拟标记点并计算虚拟标记点位置参数，所述虚拟标记点位置参数包括每个虚拟标记点相对于离其最近的关节的偏移量；e)基于所确定的各肢体段的长度和半径以及虚拟标记点位置参数，为人体姿态数据库中各个人体姿态标定其对应的虚拟标记点的位置。在上述方法中，所述步骤b)可以利用预先训练好的分类器确定所捕获的深度图像中各像素点属于人体骨架的哪个肢体段，所述分类器用于确定深度图像的像素点属于人体骨架各肢体段的概率。在上述方法中，所述分类器可以为随机决策森林分类器或支持向量机。在上述方法中，在所述步骤d)可包括基于利用所述分类器得到像素点与各肢体段类别的概率分布对像素点进行聚类，取各肢体段类别对应的聚类中心点作为其虚拟标记点。在上述方法中，所述步骤d)可以在每个肢体段对应圆柱体模型表面中心处取任一像素点作为虚拟标记点。在上述方法中，所述步骤1可以包括：利用训练好的分类器确定所捕获的深度图像的像素点属于人体骨架各肢体段的概率；基于像素点与各肢体段类别的概率分布对像素点进行聚类，取各肢体段类别对应的聚类中心点作为其虚拟标记点。在上述方法中，所述步骤2可以包括：计算人体姿态数据库中各人体姿态对应的虚拟标记点与当前帧的虚拟标记点之间的距离；选择最小距离对应的人体姿态作为当前帧的人体姿态。在上述方法中，所述步骤2可以包括：计算人体姿态数据库中各人体姿态对应的虚拟标记点与当前帧的虚拟标记点之间的距离；选择距离最小的前K个人体姿态作为当前帧的候选人体姿态；从K个候选人体姿态中选择相对于前两帧对应的人体姿态变化最小的人体姿态作为当前帧的人体姿态。在上述方法中，所述人体骨架被划分为15个肢体段，分别为：头、颈、左/右肩、左/右大臂、左/右小臂、躯干、左/右臀、左/右大腿和左/右小腿。在上述方法中，所述人体骨架包含25个关节，分别为：根关节、骨盆关节，躯干关节、胸关节、左/右锁骨、左/右肩关节、左/右肘关节、左/右腕关节、颈关节、头关节、左/右股骨关节、左/右膝关节、左/右踝关节和5个末端关节。又一方面，本专利技术还提供了一种三维人体运动捕获系统，该系统包括:标记点提取装置，从捕获的当前帧的深度图像中提取虚拟标记点，每个虚拟标记点指示人体骨架的一个肢体段；姿态检索装置，从人体姿态数据库中选择其虚拟标记点位置与所提取的虚拟标记点的位置匹配的人体姿态；其中，所述人体姿态数据库包括一个或多个人体姿态，每个人体姿态以由人体骨架各关节自由度构成的向量来表示。与现有技术相比，本专利技术的优点在于：利用人体姿态数据库在有、无肢体遮挡时都能捕获重建出合理和准确的三维人体运动姿态序列，而且适用于不同身材尺寸的运动对象。此外，采用了虚拟标记点，不要求运动对象在身上粘贴标记，从而不会限制人体运动类型，在人体做动作过程中也不会有束缚和不适感。附图说明以下参照附图对本专利技术实施例作进一步说明，其中：图1为根据本专利技术一个实施例的人体骨架结构示意图；图2为根据本专利技术一个实施例的人体肢体段示意图；图3为根据本专利技术一个实施例的人体运动实时捕获方法流程示意图；图4为根据本专利技术一个实施例的稀疏虚拟标记点的示意图；图5为根据本专利技术一个实施例的重建的三维人体姿态结果示意图。具体实施方式为了使本专利技术的目的，技术方案及优点更加清楚明白，以下结合附图通过具体实施例对本专利技术进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本专利技术，并不用于限定本专利技术。如上文所指出的，基于随机决策森林捕获人体运动的方法的捕获结果受深度噪声、随机决策森林泛化以及人体运动中肢体遮挡等因素的影响。而基于数据驱动的方法的捕获结果受人体身材尺寸差异的影响。专利技术人在研究中发现如果为提高准确性而扩大三维人体几何模型数据库中的不同尺寸三维人体模型的数量，那么数据规模将呈指数级增长，这大大增加数据检索难度。在本专利技术的一个实施例中，提出了一种新的三维人体运动实时捕获方法。其中采用的是三维人体姿态数据库(也可简称为人体姿态数据库)，该三维人体姿态数据库由不依赖于具体身材尺寸的关节角向量表示的三维人体姿态组成。也就是说，在该人体姿态数据库中包含的是三维人体姿态数据而非三维人体几何模型数据，每个三维人体姿态(也可以简称为人体姿态)由一组关节角表示。这可以大大减少需要维护的数据规模，降低数据检索难度。同时为了使在本专利技术的实施例中提出的人体运动捕获方法能适应各种身材尺寸的不同运动对象，该方法还包括了人体尺寸自动标定步骤。对于同一运动对象只需要进行一次自动标定即可。为方便描述以及更好地理解本专利技术，在具体介绍方法步骤之前，先介绍本专利技术的实施例中对于人体骨架、人体姿态、人体肢体段、三维虚拟标记点等的表示方法以及三维人体姿态数据库的建立。应指出，下文给出的关于人体骨架、人体姿态、人体肢体段、虚拟标记点等表示方法及各种设定均是处于举例说明的目的，而非进行任何具体限制。图1给出了根据本专利技术一个示例性实施例的人体骨架示本文档来自技高网...

【技术保护点】
一种三维人体运动捕获方法，该方法包括:步骤1，从捕获的当前帧的深度图像中提取虚拟标记点，每个虚拟标记点指示人体骨架的一个肢体段；步骤2，从人体姿态数据库中选择其虚拟标记点位置与所提取的虚拟标记点的位置匹配的人体姿态；其中，所述人体姿态数据库包括一个或多个人体姿态，每个人体姿态以由人体骨架各关节自由度构成的向量来表示。

【技术特征摘要】
1.一种三维人体运动捕获方法，该方法包括:步骤1，从捕获的当前帧的深度图像中提取虚拟标记点，每个虚拟标记点指示人体骨架的一个肢体段；步骤2，从人体姿态数据库中选择其虚拟标记点位置与所提取的虚拟标记点的位置匹配的人体姿态；其中，所述人体姿态数据库包括一个或多个人体姿态，每个人体姿态以由人体骨架各关节自由度构成的向量来表示。2.根据权利要求1所述的方法，所述人体姿态数据库中每个人体姿态的虚拟标记点位置是通过下面的步骤来标定的：a)捕获运动对象在标准参考姿态下的深度图像数据；b)确定所捕获的深度图像数据中各像素点属于人体骨架的哪个肢体段；c)将与每个肢体段对应的像素点集合拟合成圆柱体模型以确定各肢体段的长度和半径；d)为各肢体段设定虚拟标记点并计算虚拟标记点位置参数，所述虚拟标记点位置参数包括每个虚拟标记点相对于离其最近的关节的偏移量；e)基于所确定的各肢体段的长度和半径以及虚拟标记点位置参数，为人体姿态数据库中各个人体姿态标定其对应的虚拟标记点的位置。3.根据权利要求2所述的方法，其中所述步骤b)利用预先训练好的分类器确定所捕获的深度图像中各像素点属于人体骨架的哪个肢体段，所述分类器用于确定深度图像的像素点属于人体骨架各肢体段的概率。4.根据权利要求3所述的方法，其中所述分类器为随机决策森林分类器或支持向量机。5.根据权利要求3所述的方法，其中所述步骤d)包括基于利用所述分类器得到像素点...

【专利技术属性】
技术研发人员：夏时洪，苏乐，
申请(专利权)人：中国科学院计算技术研究所，
类型：发明
国别省市：北京;11