一种人体位姿估计系统和方法技术方案

本发明专利技术提供一种人体位姿估计系统和方法，使用一个或者多个图像采集器采集图像数据，获取其中的人体位姿，同时输出地面坐标系下的人体位姿。得到的人体姿态和位置可以用来控制机器人或数字人等，可用于虚拟现实VR、增强现实AR以及电影特效等，回归和迭代优化相结合提高精度以及迭代优化速度。本发明专利技术采用回归和迭代优化相结合的方式，大大提高人体姿态估计精度，缩短了迭代优化执行时间；同时通过跟踪可以将获取多人的人体姿态数据，保证连续性，人体姿态和人物一一对应；在仅使用一个光学成像传感器的情况下就可以计算出人体的位置信息。传感器的情况下就可以计算出人体的位置信息。传感器的情况下就可以计算出人体的位置信息。

【技术实现步骤摘要】
一种人体位姿估计系统和方法


[0001]本专利技术属于运动捕捉
，具体涉及一种人体位姿估计系统和方法。

技术介绍

[0002]人体的动作和位置信息可应用于很多场景中，它的应用领域非常广泛。这些应用领域包括例如：影视游戏中CG人物的动作；体感游戏中用户和游戏场景中物品人物的动作交互；增强现实AR中用户和虚拟目标的交互。
[0003]运动捕捉技术是由运动捕捉系统利用外部设备来对人体动作姿态和人体位移进行捕获转换为数字数据。运动捕捉系统有多种技术实现，现在使用比较多的包括：惯性动作捕捉技术，需要人体穿戴配备惯性传感器的衣服；光学式动作捕捉技术，通过图像采集器采集数据进行处理，其往往需要人体穿戴带有反光标识点衣服，而且容易受环境光照影响。
[0004]通过图像采集器直接进行人体姿态估计技术也是其中一种技术。根据原理不同可将姿态进行估计，现在分为基于优化的姿态估计方法(Federica Bogo,Angjoo Kanazawa,Christoph Lassner,Peter Gehler,Javier Romero,and Michael J.Black.Keep it smpl:Automatic estimation of 3d human pose and shape from a single image.In ECCV,2016)和基于回归的姿态估计方法(Angjoo Kanazawa,Michael J Black,David W Jacobs,and Jitendra Malik.Endr/>‑
to
‑
end recovery of human shape and pose.In CVPR,2018)。但是这些方法都只能估计姿态不能计算出位置信息，并且只能输出图像中所有人体的姿态，无法区分姿态和图像中具体人物一一对应。
[0005]基于回归的姿态估计方法获取的姿态不够精确，尤其对于脸部有遮挡或者背对相机的人体姿态估计会有正反不分的情况。而基于优化的姿态估计方法往往需要多次迭代，单次估计时间过长，同时这些方法只能估计姿态不能确定位置信息。

技术实现思路

[0006]获得人体姿态并通过运动捕捉装置在地面坐标系中的位姿，将人体位姿变换到地面坐标系对于人体位姿数据之后的使用是非常有益的，而且通过对人体进行跟踪可以保证图像序列中同一个人物前后编号一直，同时可以把人体姿态数据和图像中人体一一对应，对于场景中有多人的情况可以很好的兼容。
[0007]本专利技术的目的之一是提供一种人体位姿估计方法，通过运动捕捉装置获得至少一个图像采集传感器获取的图像序列，具体包括如下步骤：
[0008]1)人物目标检测，对每帧图像进行人物检测，得到图像上人体关键点的2D特征点集和人体区域；
[0009]2)人体跟踪计算，对图像序列中的人体进行编号，保证所有图像帧中同一个人物编号一致；
[0010]3)人体运动姿态计算，利用单帧图像对人体3D模型和运动姿态进行回归计算，得到人体模型和各关节的空间姿态角；
[0011]4)人体定位计算，对检测到的人物进行空间定位计算，获取人体各关节在所述运动捕捉装置坐标系下的3D坐标；
[0012]5)自定位计算，利用采集图像传感器在空间不同视点下采集的多帧图像进行空间自定位计算，获取所述运动捕捉装置在地面坐标系中的位姿，包括3D坐标以及姿态角；
[0013]6)人体定位转换，利用所述运动捕捉装置在地面坐标系中的位姿将人体空间位姿从运动捕捉装置坐标系下转换到地面坐标系中。
[0014]进一步，所述人体定位计算，利用已知人物的身高尺寸和所述人体运动姿态计算获取的人体3D模型和各关节的空间姿态，即可求取人体各关节在所述运动捕捉装置坐标系下的3D坐标。
[0015]进一步，将图像中检测到的人物剔除，减少对所述自定位计算的干扰。
[0016]进一步，步骤5)中提取图像场景中的自然纹理特征2D点集，采用SFM原理进行所述自定位计算
[0017]进一步，步骤5)中使用所述人体关节点的2D特征点集和所述人体各关节3D坐标，进行所述自定位计算。
[0018]进一步，步骤5)中图像场景中固定布置一种或几种标志点或标记图案，提供特征信息用于所述自定位计算。
[0019]进一步，步骤5)中图像人体上相对固定布置一种或几种空间几何形状和尺寸已知的标志点或标记图案，用于辅助求取人体各关节在所述运动捕捉装置坐标系下的3D坐标。
[0020]进一步，步骤5)中图像场景中固定布置一种或几种空间几何形状和尺寸已知的标志点或标记图案，用于自定位计算时作为参照计算尺度因子。
[0021]进一步，步骤6)中采用所述运动捕捉装置上的一种或多种惯性传感器，提供位姿信息，实现自定位计算。
[0022]进一步，步骤6)中采用所述运动捕捉装置上的一种或多种深度图像传感器，通过3D特征配至统一坐标系，实现自定位计算。
[0023]本专利技术的另一目的是提供实施上述方法的运动捕捉系统。此系统能够同时进行人物检测和人体空间位姿计算并且将人体空间位姿转换到地面坐标系中。所述的系统包括：
[0024]1)运动捕捉装置，此装置包括至少一个图像采集传感器，所述运动捕捉装置通过所述图像采集传感器提供图像；
[0025]2)人物目标检测器，用于对所述运动捕捉装置采集的图像中的人物进行检测，得到图像中人体关节点的2D特征点集和人体区域；
[0026]3)人体跟踪计算器，用对所述人物目标检测器得到的人体进行跟踪编号；
[0027]4)人体运动姿态计算器，用于对所述人体目标检测器检测到的人物进行运动姿态计算，得到人体各个关节的空间姿态角；
[0028]5)人体定位计算器，用于对所述人体目标检测器检测到的人物进行空间定位，即，计算人体各关节在所述运动捕捉装置坐标系下的3D坐标；
[0029]6)自定位计算器，用于所述运动捕捉装置自身的定位计算，即，计算所述运动捕捉装置在地面坐标系中的3D坐标以及姿态角；
[0030]7)人体定位转换器，用于将人体空间位姿从运动捕捉装置坐标系下转换到地面坐标系中。
[0031]进一步，还包括一种用于交换数据的无线通信装置。
[0032]进一步，所述运动捕捉装置包括用于照亮环境、场景或运动捕捉目标的光源。
[0033]进一步，所述运动捕捉装置包括至少部分位于所述装置内的电子芯片处理器，所述电子芯片处理器执行如下功能的一个子集：人体运动姿态计算器，人物目标检测器，人体跟踪计算器，人体运动姿态计算器，自定位计算器，人体定位计算器，人体定位转换器。
[0034]进一步，所述运动捕捉装置包括至少一种惯性传感器，可提供位姿信息，用于辅助所述运动捕捉装置进行自定位。
[0035]进一步，所述运动捕捉装置包括至少一种深度图像传感器，可提供位姿信息，用于辅助所述运动捕捉装置进行自定位。
[0036]本专利技术的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种人体位姿估计系统和方法，其特征在于，通过运动捕捉装置获得至少一个图像采集传感器获取的图像序列，具体包括如下步骤：1)人物目标检测，对每帧图像进行人物检测，得到图像上人体关键点的2D特征点集和人体区域；2)人体跟踪计算，对图像序列中的人体进行编号，保证所有图像帧中同一个人物编号一致；3)人体运动姿态计算，利用单帧图像对人体3D模型和运动姿态进行回归计算，得到人体模型和各关节的空间姿态角；4)人体定位计算，对检测到的人物进行空间定位计算，获取人体各关节在所述运动捕捉装置坐标系下的3D坐标；5)自定位计算，利用采集图像传感器在空间不同视点下采集的多帧图像进行空间自定位计算，获取所述运动捕捉装置在地面坐标系中的位姿，包括3D坐标以及姿态角；6)人体定位转换，利用所述运动捕捉装置在地面坐标系中的位姿将人体空间位姿从运动捕捉装置坐标系下转换到地面坐标系中。2.根据权利要求1所述的方法，其特征在于，所述人体定位计算，利用已知人物的身高尺寸和所述人体运动姿态计算获取的人体3D模型和各关节的空间姿态，即可求取人体各关节在所述运动捕捉装置坐标系下的3D坐标。3.根据权利要求1所述的方法，其特征在于，将图像中检测到的人物剔除，减少对所述自定位计算的干扰。4.根据权利要求1所述的方法，其特征在于，步骤5)中提取图像场景中的自然纹理特征2D点集，采用SFM原理进行所述自定位计算。5.根据权利要求1所述的方法，其特征在于，步骤5)中使用所述人体关节点的2D特征点集和所述人体各关节3D坐标，进行所述自定位计算。6.根据权利要求1所述的方法，其特征在于，步骤5)中图像场景中固定布置一种或几种标志点或标记图案，提供特征信息用于所述自定位计算。7.根据权利要求1所述的方法，其特征在于，步骤5)中图像人体上相对固定布置一种或几种空间几何形状和尺寸已知的标志点或标记图案，用于辅助求取人体各关节在所述运动捕捉装置坐标系下的3D坐标。8.根据权利要求1所述的方法，其特征在于，步骤5)中图像场景中固定布置一种或几种空间几何形状和尺寸已知的标志点或标记图案，用于自定位计算时作为参照计算尺度因子。9.根据权利要求...

【专利技术属性】
技术研发人员：王朋强，杜华，王语堂，岳宗，
申请(专利权)人：北京未来天远科技开发有限公司，
类型：发明
国别省市：