多目标优化人体运动跟踪方法技术

本发明专利技术公开了一种多目标优化的人体运动跟踪方法，它涉及计算机视觉领域，用于人体运动跟踪和姿态估计。其过程为：(1)建立人体骨架模型；(2)预处理视频图像；(3)初始化；(4)构建相似度函数；(5)优化目标函数；(6)选择人体最佳运动姿态。该方法具有不受学习数据库的限制，可以适用普遍的视频的优点，采用了两个相似度函数，可以更好的利用视频图像信息，同时多目标进化算法的非支配邻域免疫算法，较之现有的单目标优化人体跟踪方法可以避免陷入局部最优，提高了人体运动跟踪的精确度。

【技术实现步骤摘要】

本专利技术属于图像处理
，更进一步涉及计算机视觉领域中实现人体运动跟踪的一种方法，采用一种多目标优化的方法实现人体运动跟踪和三维姿态估计，可用于体育训练和动画制作等领域。
技术介绍
人体运动跟踪的主要任务是从视频图像中检测出人体轮廓，再对人体的关节点进行定位，在此基础上识别出人体运动姿态，最终重建三维人体运动姿态。由于目前视频图像是三维场景中的人体轮廓在二维图像上的投影，所以，丢失了大量的深度信息，并且人体运动过程中，人体四肢自遮挡现象时常发生，视频图像存在歧义性，这使得很难从无标记单目视频中恢复人体运动姿态。但是，由于基于单目视频的人体运动跟踪在医学治疗、体育训练、动画制作、智能监控系统等各个方面都有潜在的应用和经济价值，所以受到了很多学者的关注。至今，基于视频的人体运动跟踪的方法主要分为两大类基于学习的人体运动跟踪和基于模型的人体运动跟踪。第一种，基于学习的人体运动跟踪方法。该方法首先在训练的视频图像和目标视频图像数据库里提取精确的图像特征，然后学习训练视频图像数据库的图像特征与运动捕捉数据之间的映射，最后在目标视频图像上直接使用人体特征恢复三维姿态。 Urtasun et al. (R. Urtasun and Τ. Darrel1. Local Probabilistic Regression for Activity-Independent Human Pose Inference IEEE Conference on Computer Vision md Pattern Recognition (CVPR)，2008)使用平衡高斯过程动态模型指导在单目视频序列中跟踪三维人体运动，该动态模型是从较少的包含多种模式的训练运动数据中学习 得至LU Sigal et al. (L. Sigal andM. Black. Measure Locally, Reason Globally Occlusion-sensitive articulated pose estimation.IEEE Conference on Computer Vision and Pattern Recognition (CVPR)，2006.)提出一个贝叶斯框架，包含序贯重要性采样和退火粒子滤波，跟踪时使用了多种运动模型。为了使三维恢复更加符合解剖关节限制和降低搜索空间，从训练数据中学习运动模型，使用虚拟标记的欧式距离差作为误差量测。该方法的缺点是提取精确的图像特征需要花费大量的时间，而且跟踪视频受到学习数据库是否存在的限制，不存在学习数据库时无法完成跟踪。第二种，基于模型的人体运动跟踪方法。该方法不需要学习数据库，直接在目标视频图像上提取图像信息，建立相似度函数，对相似度函数进行优化从而在高维的状态空间中搜索最优的状态。从而获得更准确的人体姿态。法国国家信息与自动化研究所(INRIA) 的C. Sminchisescu采用此种方法实现了多种人体模型和跟踪方法(C. Sminchisescu and A. Jepson. GenerativeModeling for Continuous Non-Linearly Embedded Visual Inference. International Conference on Machine Learning (IGML)，2004)。 Deutscher et al.使用边界和侧影作为图像特征构建加权的相似度函数，应用退火粒子滤波框架实现人体运动β艮踪(J. Deutscher and I. Reid. Articulated body motion captureby stochastic search. International Journal of Computer Vision(IJCV),61 (2) 185-205,2004.)。由于该方法只建立一个相似度函数，而用于优化相似度函数的单目标的方法在搜索最优结果时很容易陷入局部最优，导致跟踪到的人体姿态不准确，而且算法的时间复杂度高。湖南大学申请的专利“基于属性关系图外观模型的多人体跟踪方法”(专利申请号 200910043537. 5，公开号CN101561928)，该专利首先对当前帧人体检测区域建立属性关系图外观模型，计算与上一帧跟踪人体的属性关系图外观模型的相似度，根据相似度确定帧间人体的匹配，从而确定人体跟踪情况及获取运动轨迹。该专利申请公开的方法存在的不足是，只能对固定的场景进行人体跟踪，外观模型的相似度不足以准确的跟踪人体姿态。
技术实现思路
本专利技术的目的在于克服现有技术中的不足，提出一种基于模型的多目标优化的人体运动跟踪方法，采用基于模型的方法，建立人体骨架模型，利用视频图像提取关节点的位置和灰度信息，构建两个相似度函数，在人体骨骼长度的限制下采用多目标优化算法得到人体运动姿态的跟踪。为实现上述目的，本专利技术具体实现步骤包括如下(1)建立人体骨架模型。将人体骨架按照15个关节划分为14个部分，每部分由一根杆状骨骼模型表达，在虚拟空间用14条具有三维坐标的关节点之间的直线段表示这14根杆状骨骼模型，在相应的关节点的连接下组成整个三维人体骨架模型，当输入一组对应人体运动时15个关节点的三维坐标值，人体骨架模型将模拟出运动的三维人体姿态。(2)预处理视频图像。2a)输入人体视频图像，通过背景差分获得人体侧影，提取人体轮廓，对人体轮廓进行细化处理形成人体骨架线；2b)在人体骨架线上沿骨架线搜索得到头、根、膝、脚节点坐标位置，使用粒子滤波预测检测出其余的人体关节点坐标位置；2c)在人体侧影图像上使用sobel算子得到图像的灰度值；(3)初始化。3a)对步骤2b)得到的初始时刻视频图像关节点位置进行手工标定，得到初始时刻的人体骨架模型；3b) t-1时刻跟踪得到的人体姿态将作为t时刻的初始化人体骨架模型(t > 0)。(4)构建相似度函数。4a)将初始化的人体骨架模型投影到二维图像空间得到每个关节点的坐标位置；4b)分别建立投影的关节点与检测到的关节点的距离相似度函数和灰度相似度函数；(5)优化目标函数。利用非支配邻域免疫算法，对距离相似度函数和灰度相似度函数进行优化，获得k 时刻所有可能的人体运动姿态；(6)选择人体最佳运动姿态。对所有可能人体运动姿态与t_l时刻跟踪到的人体最佳运动姿态相减，选择出差异最小的姿态作为t时刻跟踪到的人体最佳运动姿态。本专利技术与现有的技术相比具有以下优点1、由于本专利技术使用了粒子滤波预测人体关节点获得更精确的人体关节点图像位置，较之现有技术本专利技术的算法简单，时间复杂度低。2、由于本专利技术使用了基于模型的人体跟踪方法，直接对视频图像跟踪，较之现有技术基于学习的人体跟踪方法，本专利技术不受学习数据库的限制，可以适用普遍的视频跟踪。3、由于本专利技术在跟踪过程中采用了两个相似度函数，可以更好的利用视频图像信息，同时多目标进化算法的非支配邻域免疫算法，较之现有的单目标优化人体跟踪方法可以避免陷入局部最优，提高了人体运动跟踪的精确度。附图说明图1为本专利技术的流程图；图2为本专利技术的人体关节点检测流程图；图3为本专利技术仿真实验的三维跟踪结果图；图4为本专利技术仿真实验三维结果投影与检测关节点的误本文档来自技高网...

【技术保护点】
１．一种多目标优化人体运动跟踪方法，包括如下步骤：（１）建立人体骨架模型；（２）预处理视频图像２ａ）输入人体视频图像，通过背景差分获得人体侧影，提取人体轮廓，对人体轮廓进行细化处理形成人体骨架线；２ｂ）在人体骨架线上沿骨架线搜索得到头、根、膝、脚节点坐标位置，使用粒子滤波预测检测出其余的人体关节点坐标位置；２ｃ）在人体侧影图像上使用ｓｏｂｅｌ算子得到图像的灰度值；（３）初始化３ａ）对步骤２ｂ）得到的初始时刻视频图像关节点位置进行手工标定，得到初始时刻的人体骨架模型；３ｂ）ｔ－１时刻跟踪得到的人体姿态将作为ｔ时刻的初始化人体骨架模型（ｔ＞０）；（４）构建相似度函数４ａ）将初始化的人体骨架模型投影到二维图像空间得到每个关节点的坐标位置；４ｂ）分别建立投影关节点与检测关节点的距离相似度函数和灰度相似度函数；（５）优化目标函数利用非支配邻域免疫算法，对距离相似度函数和灰度相似度函数进行优化，获得ｋ时刻所有可能的人体运动姿态；（６）选择人体最佳运动姿态。对所有可能人体运动姿态与ｔ－１时刻跟踪到的人体最佳运动姿态做差，选择出差异最小的姿态作为ｔ时刻跟踪到的人体最佳运动姿态。

【技术特征摘要】
1.一种多目标优化人体运动跟踪方法，包括如下步骤(1)建立人体骨架模型；(2)预处理视频图像2a)输入人体视频图像，通过背景差分获得人体侧影，提取人体轮廓，对人体轮廓进行细化处理形成人体骨架线；2b)在人体骨架线上沿骨架线搜索得到头、根、膝、脚节点坐标位置，使用粒子滤波预测检测出其余的人体关节点坐标位置；2c)在人体侧影图像上使用sobel算子得到图像的灰度值；(3)初始化3a)对步骤2b)得到的初始时刻视频图像关节点位置进行手工标定，得到初始时刻的人体骨架模型；3b)t-l时刻跟踪得到的人体姿态将作为t时刻的初始化人体骨架模型(t > 0)；(4)构建相似度函数4a)将初始化的人体骨架模型投影到二维图像空间得到每个关节点的坐标位置；4b)分别建立投影关节点与检测关节点的距离相似度函数和灰度相似度函数；(5)优化目标函数利用非支配邻域免疫算法，对距离相似度函数和灰度相似度函数进行优化，获得k时刻所有可能的人体运动姿态；(6)选择人体最佳运动姿态。对所有可能人体运动姿态与t-Ι时刻跟踪到的人体最佳运动姿态做差，选择出差异最小的姿态作为t时刻跟踪到的人体最佳运动姿态。2.根据权利要求1所述的多目标优化人体运动跟踪方法，其特征在于所述步骤(1) 人体骨架模型按如下过程构建，将人体骨架按照15个关节划分为14个部分，每部分由一根杆状骨骼模型表达，在虚拟空间用14条具有三维坐标的关节点之间的直线段表示这14根杆状骨骼模型，在相应的关节点的连接下组成整个三维人体骨架模型，当输入一组对应人体运动时15个关节点的三...

【专利技术属性】
技术研发人员：韩红，冯光洁，苟靖翔，王瑞，白静，李阳阳，
申请(专利权)人：西安电子科技大学，
类型：发明
国别省市：87