基于产生式和判别式结合的人体运动跟踪方法技术

本发明专利技术公开了一种基于产生式和判别式结合的人体运动跟踪方法，主要解决现有技术中人体运动跟踪结果不准确的问题。其实现步骤为：建立人体骨架模型；预处理视频图像获得检测关节点；提取视频图像的bandlet2特征；输入提取的bandlet2特征使用双高斯预测出人体姿态；根据检测到的关节点初始化人体骨架模型；构建双高斯预测到的关节点与检测到关节点的2D和3D相似度函数；在骨骼长度约束下最小化相似度函数得到一组人体姿态；从得到的一组人体姿态中选择出与上一帧骨架欧式距离最小的状态作为当前帧的佳运动姿态。本方法与现有的人体跟踪方法相比，具有跟踪结果准确性高，稳定性高的优点，可用于医学治疗、体育训练、动画制作和智能监控系统。

【技术实现步骤摘要】

本专利技术属于图像处理
，更进一步涉及计算机视觉领域中实现人体运动跟踪的一种方法，采用一种多目标优化的方法实现人体运动跟踪和三维姿态估计，可用于体育训练和动画制作等领域。
技术介绍
人体运动跟踪的主要任务是从视频图像中检测出人体轮廓，再对人体的关节点进行定位，在此基础上识别出人体运动姿态，最终重建三维人体运动姿态。由于目前视频图像是三维场景中的人体轮廓在二维图像上的投影，所以，丢失了大量的深度信息，并且人体运动过程中，人体四肢自遮挡现象时常发生，视频图像存在歧义性，这使得很难从无标记单目视频中恢复人体运动姿态。但是，由于基于单目视频的人体运动跟踪在医学治疗、体育训练、动画制作、智能监控系统等各个方面都有潜在的应用和经济价值，所以受到了很多学者的关注。至今，基于视频的人体运动跟踪的方法主要分为两大类基于学习的人体运动跟踪和基于模型的人体运动跟踪。第一种，基于学习的人体运动跟踪方法该方法首先在训练的视频图像和目标视频图像数据库里提取精确的图像特征，然后学习训练视频图像数据库的图像特征与运动捕捉数据之间的映射，最后在目标视频图像上直接使用人体特征恢复三维姿态。如Urtasun et本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种产生式和判别式结合的人体运动跟踪方法，包括如下步骤 (1)用骨骼抽象的方法建立三维人体骨架模型即将人体骨架按照15个关节划分为14个部分，每部分由一根杆状骨骼模型表达，在空间用14条具有三维坐标的关节点之间的直线段表示这14根杆状骨骼模型，连接相应的关节点坐标组成整个三维人体骨架模型，当输入一组运动人体对应的15个关节点的三维坐标值时，人体骨架模型将模拟出三维人体的运动姿态； (2)预处理人体视频图像 2a)输入人体视频图像，通过背景差分获得人体侧影，提取人体轮廓，对人体轮廓进行中轴细化处理，形成人体骨架线； 2b)在人体骨架线上沿骨架线搜索得到头、腹部、膝、脚节点坐标位置，使用粒子滤波预测检测出其余的人体关节点坐标位置； (3)提取视频图像的第二代条带波变换Bandlet2的图像特征r，作为双高斯过程的输入，使用双高斯TGP算法，预测出第i帧人体的3维坐标关节点V' i，ie [1，N]，获得视频序列的3D关节点输出为V'， Γ — (XlJ T2 7 T3J . . . 7 ΓΝ) J V — (Y，Y，Y · · β/^)其中，A为第i帧图像的Bandlet2图像特征，i e [I, N], (·)τ表示矩阵的转秩； (4)初始化人体骨架模型 4a)对步骤2b)得到的初始时刻视频图像关节点位置进行手工标定，由标定数据设置初始时刻人体姿态对应的人体骨架记为％，其中V。为2b)中检测到的第一帧视频图像的人体关节点位置； 4b)将t-Ι时刻跟踪得到的人体骨架作为t时刻的初始化人体骨架，t > O ； (5)构建相似度函数 5a)将人体的3D关节点用V表示，2D关节点用Vq表示，Vq为V在2D平面上的投影，V为待估计量 V= (v1； v2, V3, , vN)T,V9= ( Y9, ^q, ^q, · · .Νψ， 其中，Vi为第i帧图像的3D关节点，i e [1，N]，vf为第i帧的2D关节点，i e [I, N],N为视频帧数； 5b)将用双高斯TGP方法预测出的第i帧人体3D关节点V'在2D平面上做投影，得到2D投影的关节点坐标V' p:V= (V，V'，V，· · ·，V' Y , ...

【专利技术属性】
技术研发人员：韩红，冯光洁，谢福强，苟靖翔，王瑞，韩启强，张红蕾，顾建银，李晓君，
申请(专利权)人：西安电子科技大学，
类型：发明
国别省市：