基于深度图像的人体姿态估计方法技术

本发明专利技术公开了一种人体姿态估计方法，该方法根据人体的深度图像进行人体姿态的估计，以通过虚拟人体模型来模拟该图像中的人体，该深度图像包括多个帧，该方法包括如下步骤：建立虚拟人体模型，该人体模型由骨骼模型和皮肤模型组成；对所述虚拟人体模型的参数进行初始化；对所述深度图像的当前帧进行滤波；对所述虚拟人体模型和深度图像进行对应点检测；对于所述深度图像的当前帧，根据所述对应点检测的结果建立并优化目标函数，该目标函数用于描述所述虚拟人体模型和所述深度图像之间的姿势差异的大小，通过最小化目标函数的值更新所述虚拟人体模型的当前姿态。本发明专利技术建立的虚拟人体模型自由度高，皮肤变形效果好，姿态估计收敛速度快且误差小，同时利用深度摄像机获取深度图像使得人体运动姿态估计系统装置简便，便于推广应用。

【技术实现步骤摘要】

本专利技术属于图像处理、计算机图形学、人体运动学、最优化理论及计算机应用领域，具体涉及基于深度图像的人体姿态方法。
技术介绍
人体姿态估计是人体运动捕捉的核心问题。所谓人体姿态估计是指将抽象层次特征与人体模型进行匹配，从而得到不同时刻目标所处的姿态。人体的姿态表达包括两个方面，一是整个人体在世界坐标的位置和方向；二是身体各部分关节的角度及受关节角影响的皮肤变形。人体运动姿态估计的主要应用领域可以分为三大方向监控、控制、分析。 在监控应用方面，一些传统的应用包括在机场或地铁中自动检测并定位行人、人数统计或人群流动、拥塞分析等等。随着安全意识的提高，近年来出现了一些新型的应用——个人或人群的行为和动作的分析。比如在排队和购物中，检测不正常的行为或进行身份识别等。在控制应用方面，人们利用运动估计结果或姿态参数来对目标进行控制。这在人机交互方面的应用最多。在娱乐产业如电影和游戏动画等，应用也越来越广。人们可以利用捕捉到的人的形状、外表和动作，来制作3D电影或重建游戏中的人的三维模型。在分析应用方面，包括对外科病人的自动诊断、对运动员动作的分析和改进等。在视觉媒体方面，有基于内容的视频检索、视频压缩等应用。此外，在汽车产业方面也得到了相关的应用，比如安全气囊的自动控制、睡眠检测和行人检测等。目前市场上比较成熟的人体运动捕捉系统有基于电动机械的，电磁的和特殊光学标志等类型。磁性或者光学的标记被附在人的肢体上，它们的三维轨迹被用来描述目标运动，这些系统是自动的，但是其设备非常笨重，且价格昂贵，无法得到广泛的应用。因此，基于计算机视觉人体运动捕捉技术已经成为研究热点。它利用计算机视觉的基本原理，从视频中直接提取三维人体运动序列.这种方法不需要在人体关节上附加任何传感器，保证了人体运动不受限制，而且造价低，效率高。当前流行的方法大多采用基于人体模型的匹配技术。这种方法的目标是在状态空间中找到一组姿态参数，使得对应这个参数的人体姿态与从观测图像中提取的底层特征最为符合。在基于计算机视觉的运动跟踪这一领域，一般采用的研究方法是，在跟踪的开始确定图像序列中首帧的人体位置，后续序列中人体目标的确定依赖于人体运动的连续性和运动学约束条件。确定首帧人体位置有两种方法一是人为规定目标的首个姿态或者将人体模型设定为首帧的近似姿态，这不利于人体跟踪的自动化。二是去除人体以外的背景后，使用部位检测方法确定身体的各个部位，这种方法可部分实现自动化，但需要人景分割的严格保证。在后续人体跟踪和三维姿态估计中，有基于模型和无模型的方法。基于模型的一般方法是事先建立人体的3D模型，将模型与运动序列的首帧匹配，在后续跟踪中，利用运动参数限制等条件，采用梯度下降或随机采样等优化方法进一步估计每一帧的模型参数，从而得出模型运动序列。这种方法的缺点是后续帧的跟踪存在累积误差，长时间跟踪容易出错。无模型方法不需要建立人体模型，而是根据人体运动呈现的几何、纹理、色彩等信息，采用学习或基于样本的方法来估计人体运动姿态。其缺点在于人体运动姿态难以用有限个状态描述，依赖于先验知识，且只能跟踪特定的动作集。这两种跟踪方法都可采用单目摄像机或多目摄像机实现。由于不具有深度信息的普通图像在重建中存在从三维到二维映射的歧义性，且对于复杂运动姿态估计非常困难，因此在过去十多年的研究中，大多数人体运动跟踪技术的都是基于多摄像机条件下实现的，以此获得深度信息。然而，多摄像机的条件需要定标且不方便在普通家庭中布置，不利于运动捕捉技术的应用普及到千家万户中。近两年随着深度摄像机的出现，人们可以利用单个摄像机获得深度图像，基于单个深度摄像机的人体姿态估计技术成为了研究热点
技术实现思路
(一 )要解决的技术问题本专利技术所要解决的技术问题是提出一种，以解决现有的人体姿态估计必需多个摄像机，设备复杂，难于实现的缺点。(二)技术方案为解决上述技术问题，本专利技术提出一种人体姿态估计方法，该方法根据人体的深度图像进行人体姿态的估计，以通过虚拟人体模型来模拟该图像中的人体，该深度图像包括多个帧，该方法包括如下步骤SI、建立虚拟人体模型，该人体模型由骨骼模型和皮肤模型组成；S2、对所述虚拟人体模型的参数进行初始化；S3、对所述深度图像的当前帧进行滤波；S4、对所述虚拟人体模型和深度图像进行对应点检测；S5、对于所述深度图像的当前帧，根据所述对应点检测的结果建立并优化目标函数，该目标函数用于描述所述虚拟人体模型和所述深度图像之间的姿势差异的大小，通过最小化目标函数的值更新所述虚拟人体模型的当前姿态。(三)有益效果本专利技术建立的虚拟人体模型自由度高，皮肤变形效果好，姿态估计收敛速度快且误差小，同时利用深度摄像机获取深度图像使得人体运动姿态估计系统装置简便，便于推广应用。本专利技术在人体运动捕捉领域应用前景广泛，也为人机交互、游戏开发、电影制作提供了应用趋势。附图说明图I示出了本专利技术的各个模块的总体流程图；图2示出了本专利技术的参数初始化模块的流程图；图3示出了本专利技术的深度图像滤波模块的流程图；图4示出了本专利技术的分层姿态估计模块的主流程图；图5示出了本专利技术的分层姿态估计模块中的平移和旋转参数估计的流程图；图6示出了本专利技术的分层姿态估计模块中的关节角参数估计的流程图7示出了本专利技术的分层姿态估计模块中的平移和旋转参数估计及关节角参数估计中的黄金分割法求迭代步长的流程图；图8示出了本专利技术的人体骨骼模型。具体实施例方式为使本专利技术的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本专利技术作进一步的详细说明。本专利技术是利用深度摄像机获取的深度图像进行人体姿态估计方法，并将姿态估计结果以虚拟人体模型展现出来。本专利技术所基于的深度图像即是通过单个深度摄像机获得的，深度图像具有深度信息，可以获得场景中的三维坐标，因此对运动估计起到非常重要的作用。 如图I所示，本专利技术的方法根据人体的深度图像进行人体姿态的估计，以通过虚拟人体模型来模拟该图像中的人体，该深度图像包括多个帧，该方法包括以下个步骤I)虚拟人体模型建立步骤SI。虚拟人体模型建立步骤SI的目的是建立一个非刚性的可变形的人体运动模型，用于模拟人体实际的皮肤变形并展现人体姿态估计的结果。2)参数初始化步骤S2。参数初始化步骤S2包括读取虚拟人体模型的三维坐标随机采样、初始化姿态参数、获取坐标变换矩阵和关节角变换矩阵等。3)深度图像滤波模块步骤S3。深度图像滤波步骤S3是对读入的一帧深度图像进行采样、量化和平滑滤波处理的过程。4)对应点检测步骤S4。对应点检测步骤S4用于寻找模型点集和随机采样得到的深度图像点集的对应关系，对应点是指每个模型点集中的点都有一个随机采样得到的深度图像点集的点与之对应。本专利技术中使用基于多维搜索树的对应点检测方法。5)分层姿态估计步骤S5。分层姿态估计步骤S5将分层估计的方法和最速下降法结合起来对每一帧的姿态参数进行迭代优化，得出当前帧的人体估计姿态。6)步骤S6判断是否有图像流输入，如果还有图像数据输入，则转到深度图像滤波步骤S3，继续处理下一帧图像，以保证姿态估计的连续性；若没有，则处理结束。下面对各个主要步骤进行详细描述。SI、建立虚拟人体模型，人体模型由骨骼模型和皮肤模型组成。如图8所示，人体模型的骨骼模型由21个关节和20个关节本文档来自技高网...

【技术保护点】
一种人体姿态估计方法，该方法根据人体的深度图像进行人体姿态的估计，以通过虚拟人体模型来模拟该图像中的人体，该深度图像包括多个帧，其特征在于，该方法包括如下步骤：S1、建立虚拟人体模型，该人体模型由骨骼模型和皮肤模型组成；S2、对所述虚拟人体模型的参数进行初始化；S3、对所述深度图像的当前帧进行滤波；S4、对所述虚拟人体模型和深度图像进行对应点检测；S5、对于所述深度图像的当前帧，根据所述对应点检测的结果建立并优化目标函数，该目标函数用于描述所述虚拟人体模型和所述深度图像之间的姿势差异的大小，通过最小化目标函数的值更新所述虚拟人体模型的当前姿态。

【技术特征摘要】

【专利技术属性】
技术研发人员：黄向生，徐波，
申请(专利权)人：中国科学院自动化研究所，
类型：发明
国别省市：