多模型人体运动跟踪方法技术

本发明专利技术公开了一种多模型人体运动跟踪方法，它涉及图像处理技术领域。主要解决现有方法无法很好解决人体运动歧义性、时间复杂度高和单纯增加运动模型无法获得良好三维人体姿态估计的问题。其步骤为：(1)输入人体运动视频图像，获得人体侧影及其边缘、骨架线；(2)检测人体关节点位置；(3)使用岭回归方法训练运动模型；(4)初始化模型集合M1；(5)运行交互式多模型算法，获得人体运动姿态；(6)激活满足激活条件的运动模型，终止满足终止条件的运动模型。本发明专利技术具有时间复杂度低，跟踪效果好的优点，具有较高的费效比，可应用于体育训练和动画制作等领域。

【技术实现步骤摘要】

本专利技术属于图像处理
，涉及人体运动跟踪，特别是一种多模型的人体运 动跟踪和三维姿态估计，可用于体育训练和动画制作等领域。
技术介绍
人体运动跟踪的主要任务是从图像检测出人体，定位人体部分，然后识别出人体 运动姿态，最终重建三维人体运动。由于获得的视频或者图像序列都是三维场景在二维 图像上的投影，缺失了大量的深度信息，并且人体运动过程中，人体四肢自遮挡现象时常发 生，视频图像的质量也无法保证，这使得从无标记单目视频中恢复人体运动姿态的工作困 难重重。但是，由于基于单目视频的人体运动跟踪在医学治疗、运动捕捉、动画制作、智能监 控系统等各个方面都有潜在的应用和经济价值，所以受到了很多学者的关注。基于视频的人体运动分析的方法主要分为两大类基于模型的人体运动跟踪和基 于学习的人体运动跟踪。(1)基于模型的人体运动跟踪现有的基于模型的人体运动跟踪大部分都是使用确定性或者随机性的优化方法， 在高维的状态空间中搜索最优的状态。该方法的主要研究有法国国家信息与自动化研究所(INRIA)的C. Sminchisescu采用基于模型的方法 在单目相机人体运动估计方面做了大量工作，从人体模型到搜索策略的一系列研究，大部 分属于产生式方法。美国布朗大学M.J. Black教授领导的视觉组主要致力于人体运动估计和人体手 势、行为和面部表情的重构，目的是将人体运动的估计和理解应用于多媒体研究和新颖的 用户界面中。在人体运动估计方面，该研究组用贝叶斯框架获得人体统计信息，对3D人体 运动进行随机跟踪。目前该研究组为评价链接人体运动方法创建了一个同步视频和运动捕 捉数据集=HumanEva数据集。HumanEva是多摄像机获得的数据资料，不仅包含多种运动的 视频序列，而且还包含相应的地面实况Ground Truth，为人体运动跟踪方法的定量比较提 供了依据。Deutscher et al.使用边界和侧影作为图像特征构建加权函数，应用退火粒子滤 波框架实现人体运动跟踪。Mikic et al.从多个同步视频流中自动的获得人体模型，应用 扩展卡尔曼滤波框架，依据已标记的voxel数据上的量测信息估计人体运动参数。(2)基于学习的人体运动跟踪该方法首先提取精确的图像特征，然后学习图像特征与运动捕捉数据之间的映 射，最后直接使用人体特征恢复三维姿态。在该方面的深入研究有法国国家信息与自动化研究所(INRIA)的主要项目LEAR(Learning for Vision) 中很重要的部分就是对人的运动进行检测和运动分析，A. Agarwal在研究中做出了巨大的 贡献，他采用shape context等鲁棒性好的描述子描述人体侧影，然后学习运动捕捉数据与 人体侧影之间的关系，最后根据人体侧影特征重建三维人体运动。加拿大多伦多大学计算机系C. Sminchisescu研究组2004年以来， C. Sminchisescu的人体运动分析研究方法逐渐从产生式向判别式转变，通过分层编码和半 监督学习适应多层级的变化，处理复杂背景下3D姿态类的可变性，采用稀疏的方法恢复3D 人体姿态。Urtasun et al.使用平衡高斯过程动态模型指导在单目视频序列中跟踪3D人体 运动，该动态模型是从较少的包含多种模式的训练运动数据中学习得到。Sigal et al.提 出一个贝叶斯框架，包含序贯重要性采样和退火粒子滤波，跟踪时使用了多种运动模型和 似然函数；为了使三维恢复更加符合解剖关节限制和降低搜索空间，从训练数据中学习运 动模型，使用虚拟标记的欧式距离差作为误差量测。基于模型的人体运动跟踪和基于学习的人体运动跟踪各有优劣基于模型的方法优点是该方法有具体的人体模型模拟人体，并且可以使用先验 知识指导运动姿态的预测；缺点是使用优化的方法在搜索最优结果时，很容易陷入局部最 优值，时间复杂度高，并且无法从根本上解决人体运动的二义性，遮挡发生的情况下，人体 运动精确恢复无法得到保证；基于学习的方法优点是使用训练得到的运动映射，增加了跟踪的准确性和稳定 性；缺点是单个的运动模型只能拟合一个运动模式，不能适应人体运动的多变性，提取精确 的图像特征也要花费大量的时间。
技术实现思路
本专利技术的目的在于克服现有方法不足，提出了 一种基于可能模型集-变结构多模 型LMS-VSMM的人体运动跟踪方法，以减小人体运动姿态恢复的歧义性，提高人体运动跟踪 的精确度，同时降低单帧跟踪的时间，提高费效比。实现本专利技术目的的技术思路是汲取上述两种方法的优点，采用基于模型方法的 大框架，建立人体骨架模型，采用基于学习的方法，使用运动捕捉数据直接训练人体运动模 型指导人体运动姿态的预测。为了解决基于学习方法的缺点，前人已经尝试使用交互式多 模型算法IMM完成人体运动跟踪，对特定的人体运动模式使用精心挑选的运动模型集获得 较好的跟踪效果，但在实际的应用中，由于较小的运动模型集合无法解决人体运动模式的 复杂性和多变性，简单的增加运动模型的数量是不可行的，不仅会增加运算了解决该困境， 本专利技术采用基于可能模型集的变结构多模型方法进行人体运动跟踪。概括地说本专利技术是在 检测人体关节点位置的基础上，通过使用运动捕捉数据训练的运动模型，结合LMS-VSMM算 法框架来解决人体运动跟踪问题。其具体实现步骤包括如下(1)人体视频图像，通过背景差获得人体侧影，提取人体侧影边缘，并对人体侧影 进行细化处理；(2)根据处理后的人体视频图像，进行如下关节点检测2a)使用同心圆模板沿着骨架线搜索，计算落入圆环的边缘点数量，选取数量最多 时的圆心作为头节点；2b)选取人体侧影重心为根节点；2c)使用3D人体骨架模型在图像上投影，得到人体躯干上其他关节点位置；2d)使用粒子滤波检测手、肘、肩关节点位置；62e)使用下肢长度检测膝、脚关节点位置；(3)从卡耐基梅隆大学CMU运动捕捉数据库中选取多种运动模式的捕捉数据，采 用岭回归方法训练运动模型方程的状态转移矩阵Fi,并计算该运动模型的噪声Wk协方差， 获得的运动模型集合称为总运动模型集M = Im1, m2, m3, m4, m5, m6}，其中Hi1表示僵硬的行走 模型，m2表示行走模型，m3表示平衡行走模型，m4表示Jack跳模型，m5表示跳跃模型，m6表 示下蹲模型；(4)将总运动模型集中的运动模型方程作为交互式多模型滤波器的状态方程，运 行交互式多模型十个周期，计算各模型的模型群概率，选择模型概率最大的三个模型作为 初始当前模型集合M1;(5)以k时刻人体关节点作为输入，利用交互式多模型算法，获得人体运动姿态估 计，更新运动模型概率和人体运动姿态估计误差协方差；(6)根据人体关节点位置，计算四肢骨架线在图像上投影的角度变化比值，若比值 大小满足设定的运动模型激活规则，记此时刻为Iv记当前模型集合为M。，记激活运动模型 Mn，执行以下步骤(7)，否则，输出人体运动姿态估计，执行步骤(5)；(7)将新激活模型的概率初始化为当前模型集合中模型概率的最大值，并归一化 模型概率；将预测误差协方差初始化为运动模型自身的噪声协方差，选取运动捕捉数据中 与当前模式匹配程度最高的状态作为初始状态，将模型集合M。和激活运动模型^合并为新 的当前模型集合Mk;(8)根据新的当前模型，重本文档来自技高网...

【技术保护点】
一种多模型人体运动跟踪方法，包括：（１）输入人体视频图像，通过背景差获得人体侧影，提取人体侧影边缘，并对人体侧影进行细化处理；（２）根据处理后的人体视频图像，进行如下关节点检测：２ａ）使用同心圆模板沿着骨架线搜索，计算落入圆环的边缘点数量，选取数量最多时的圆心作为头节点；２ｂ）选取人体侧影重心为根节点；２ｃ）使用３Ｄ人体骨架模型在图像上投影，得到人体躯干上其他关节点位置；２ｄ）使用粒子滤波检测手、肘、肩关节点位置；２ｅ）使用下肢长度检测膝、脚关节点位置；（３）从卡耐基梅隆大学ＣＭＵ运动捕捉数据库中选取多种运动模式的捕捉数据，采用岭回归方法训练运动模型方程的状态转移矩阵Ｆ↑［ｉ］，并计算该运动模型的噪声ｗ↓［ｋ］协方差，获得的运动模型集合称为总运动模型集Ｍ＝（ｍ↓［１］，ｍ↓［２］，ｍ↓［３］，ｍ↓［４］，ｍ↓［５］，ｍ↓［６］｝，其中ｍ↓［１］表示僵硬的行走模型，ｍ↓［２］表示行走模型，ｍ↓［３］表示平衡行走模型，ｍ↓［４］表示Ｊａｃｋ跳模型，ｍ↓［５］表示跳跃模型，ｍ↓［６］表示下蹲模型；（４）将总运动模型集中的运动模型方程作为交互式多模型滤波器的状态方程，运行交互式多模型十个周期，计算各模型的模型群概率，选择模型概率最大的三个模型作为初始当前模型集合Ｍ↓［１］；（５）以ｋ时刻人体关节点作为输入，利用交互式多模型算法，获得人体运动姿态估计，更新运动模型概率和人体运动姿态估计误差协方差；（６）根据人体关节点位置，计算四肢骨架线在图像上投影的角度变化比值，若比值大小满足设定的运动模型激活规则，记此时刻为ｋ↓［０］，记当前模型集合为Ｍ↓［ｏ］，记激活运动模型Ｍ↓［ｎ］，执行以下步骤（７），否则，输出人体运动姿态估计，执行步骤（５）；（７）将新激活模型的概率初始化为当前模型集合中模型概率的最大值，并归一化模型概率；将预测误差协方差初始化为运动模型自身的噪声协方差，选取运动捕捉数据中与当前模式匹配程度最高的状态作为初始状态，将模型集合Ｍ↓［ｏ］和激活运动模型Ｍ↓［ｎ］合并为新的当前模型集合Ｍ↓［ｋ］；（８）根据新的当前模型，重新执行上述交互式多模型一个周期，若当前模型集合Ｍ↓［ｋ］中运动模型的模型概率小于１０↑［－４］，则终止该运动模型，输出人体运动姿态估计，并返回执行上述步骤（５）；否则，输出人体运动姿态估计，执行步骤（８）。...

【技术特征摘要】

【专利技术属性】
技术研发人员：韩红，焦李成，陈志超，范友健，李阳阳，吴建设，王爽，尚荣华，马文萍，
申请(专利权)人：西安电子科技大学，
类型：发明
国别省市：87