基于深度核信息图像特征的人体运动跟踪方法技术

本发明专利技术公开了一种基于深度核信息图像特征的人体运动跟踪方法，主要解决现有技术的人体运动跟踪中对视频图像特征表示不准确，导致跟踪结果不精确的问题。其实现过程为：从数据库中获得视频图像的关节点三维坐标矩阵Y；提取处理后视频图像的深度核信息图像特征X；以提取的深度核信息图像特征X为输入，以视频图像中人体的三维坐标矩阵Y为输出，使用高斯过程学习回归函数；使用高斯过程学习得到的回归函数，以新的视频图像的深度核信息特征X为输入，估计出运动人体的三维姿态数据。本发明专利技术具有比现有的人体跟踪方法训练过程快，对图像特征表示准确的优点，可用于运动捕获，人机交互，视频监控，人体目标识别和三维姿势恢复。

【技术实现步骤摘要】

本专利技术属于图像处理
，更进一步涉及到计算机视觉领域中实现人体运动跟踪的一种方法，可用于体育训练和动画制作，视频监控领域。
技术介绍
人体运动跟踪是近二十年来计算机视觉领域的重大热点之一，人体运动跟踪在运动捕获，人机交互，视频监控等多领域获得了初步的应用，并具重大的应用前景。从视频序列中准确恢复三维人体姿态，实现人体运动跟踪是计算机视觉领域长期存在的问题。实现人体运动跟踪主要包括两步:第一步是实现对视频图像特征的准确表示，第二步是学习从视频图像特征到人体姿态的回归函数。其中最重要的就是第一步:实现对视频图像特征的准确表示。对于一帧视频图像，人体是视频图像中的核心内容，反映视频图像的核心语义特征。对于人类来说，观看一帧图像的同时几乎可以瞬间理解其中人物的姿态，然而对于计算机，却要克服重重困难:必需要有一种有效的图像特征，作为计算机识别的接口。这种图像特征必须有效表示图像中的人物运动状态以及图像纹理，轮廓等细节信息。现有图像特征表示方法大致可以分为基于全局特征点方法和基于局部字码表的特征表示方法，如梯度直方图特征、层级化特征、形状上下文和尺度不变性特征点的方法。目前已经有很多成熟的图像特征表示方法被运用到人体特征表示和运动跟踪中。但是大部分描述人体的图像特征表示是基于轮廓和边缘信息的，在理论上不严谨，很难准确的刻画图像内部信息。这些基于边缘的图像特征表示方法还面临一个主要问题:视频图像的快速变换常沿边缘曲线不连续性跳跃，一方面会导致封闭边界的灰度不连续性模糊，另一方面也会导致纹理变化不沿几何曲线聚集。最终结果是无法有效表示图像中的几何纹理走向，不能全面刻画人在其中的姿态和特征信息，导致后期的运动跟踪和姿态恢复产生了模糊性和歧义性。
技术实现思路
本专利技术针对上述已有技术的不足，提出了一种，以降低图像特征提取的复杂度，提高特征的表征能力，并在图像数据分布未知情况下，通过学习先验进行准确的姿态预测。本专利技术技术方案通过如下步骤实现:( I)从原始的视频图像中获得人体关节点的三维坐标矩阵Y ；(2)提取训练视频图像的核图像特征X(U):2a)输入待处理训练视频图像集转换为连续单幅序列图，根据图像内容，判断需要识别的主要人体目标，提取像素大小为64*192的含有人体的矩形框体，作为之后处理的训练样本图像集U ;2b)对训练样本图像集U中的像素点分别求梯度，得到每一个像素点的方向乏和模值<，其中，z为图像块中的像素点，z e U ；2c)使用方向高斯核函数匕(.)计算不同像素点之间的角度相似度:本文档来自技高网...

【技术保护点】
一种基于深度核信息图像特征的人体运动跟踪方法包括如下步骤：（1）从原始的视频图像中获得人体关节点的三维坐标矩阵Y；（2）提取训练视频图像的核图像特征x(U)：2a)输入待处理训练视频图像集转换为连续单幅序列图，根据图像内容，判断需要识别的主要人体目标，提取像素大小为64*192的含有人体的矩形框体，作为之后处理的训练样本图像集U；2b)对训练样本图像集U中的像素点分别求梯度，得到每一个像素点的方向和模值其中，z为图像块中的像素点，z∈U；2c）使用方向高斯核函数ko(·)计算不同像素点之间的角度相似度:ko(θ→z,θ→s)=exp(-γ0||θ→z-θ→s||2),其中，γ0为方向高斯核参数，为图像块中像素点z的方向角，为图像块中像素点s的方向角，exp(·)表示求自然对数的指数函数，||·||2表示求二范数；2d）对图像块中的方向核函数进行取样，得到一组方向偏置向量其中，pi为第i个方向偏置向量，do为方向偏置向量的总数，i∈[1,do]，则得到方向偏置基向量的高斯核函数：ko(θ→z,pi)=exp(-γ0||θ→z-pi||2),其中，γ0为方向高斯核参数，为图像块中像素点z的方向角，pi为第i个方向偏置基向量；2e）使用位置高斯核函数kl(·)计算不同像素点之间的相似度:kl(Lz,Ls)＝exp(?γl||Lz?Ls||2)，其中，γl为位置高斯核参数，Lz为图像块中像素点z的位置、Ls为图像块中像素s的位置；2f)对图像块中的位置核函数进行取样，得到一组位置偏置基向量其中，qj为第j个位置偏置向量，dl为位置偏置基向量的总数，j∈[1,dl]；2g）根据偏置基向量和位置高斯核函数kl(Lz,Ls)，得到位置偏置基向量的高斯核函数：kl(Lz,qj)＝exp(?γl||Lz?qj||2)，其中,γl为位置高斯核参数，Lz为图像块中像素点z的位置，qj为第j个位置偏置基向量；2h）根据像素点z的模值方向偏置基向量的高斯核函数以及位置偏置基向量的高斯核函数kl(Lz,qj)，得到整个图像集U的核图像特征x(U)：x(U)=Σi=1doΣj=1dlαij{Σz∈Um→zko(θ→z,pi)kl(Lz,qj)},其中，∑·表示求和，αij为核投影系数，dl为位置偏置向量的总数，do为方向偏置向量的总数，z为图像中的像素点，为像素点z的方向，为像素点z的模值，pi为第i个方向偏置向量，qj为第j个位置偏置向量，Lz为图像块中像素点z的位置；（3）使用块匹配方法提取训练视频图像的深度信息D；（4）将深度信息D与核图像特征x(U)相加，得到深度核信息图像特征X；X＝D+x(U)；(5)使用深度核信息图像特征X进行人体运动姿势的跟踪，对输入视频图像进行三维运动姿势估计，并将估计到的三维运动姿势数据恢复成关节点骨架作为最终的跟踪结果。FDA00002780659200011.jpg,FDA00002780659200012.jpg,FDA00002780659200014.jpg,FDA00002780659200015.jpg,FDA00002780659200016.jpg,FDA00002780659200018.jpg,FDA00002780659200021.jpg,FDA00002780659200022.jpg,FDA00002780659200023.jpg,FDA00002780659200024.jpg,FDA00002780659200026.jpg,FDA00002780659200027.jpg...

【技术特征摘要】
1.一种基于深度核信息图像特征的人体运动跟踪方法包括如下步骤: (1)从原始的视频图像中获得人体关节点的三维坐标矩阵Y; (2)提取训练视频图像的核图像特征X(U): 2a)输入待处理训练视频图像集转换为连续单幅序列图，根据图像内容，判断需要识别的主要人体目标，提取像素大小为64*192的含有人体的矩形框体，作为之后处理的训练样本图像集U ； 2b)对训练样本图像集U中的像素点分别求梯度，得到每一个像素点的方向~和模值邑，其中，z为图像块中`的像素点，z e U ； 2c)使用方向高斯核函数匕(.)计算不同像素点之间的角度相似度:2.根据权利要求1所述方法，其中步骤(3)所述的使用块匹配方法提取训练视频图像的深度信息D，包括如下步骤: 3a)在训练样本图像集U中，将每一帧训练图像上都选取一个像素大小为4X4的图像块S，作为匹配图像块，第r帧的匹配图像块为Sy第r+Ι帧的匹配图像块为Sr+1，r e [1，R]，R为训练视频图像帧数； 3b)将第r帧匹配图像块&作为第r+Ι帧匹配图像块Srt的参考图像，计算第r帧的匹配图像块&与第r+Ι帧的匹配图像块Srt的像素位移，作为...

【专利技术属性】
技术研发人员：韩红，谢福强，张红蕾，韩启强，李晓君，顾建银，
申请(专利权)人：西安电子科技大学，
类型：发明
国别省市：