基于分布式协同学习的人体运动跟踪方法技术

本发明专利技术公开了一种基于分布式学习的人体运动跟踪方法，主要解决现有技术训练所需硬件成本高，训练时间长，对大数据集无力的问题。其实现步骤是：（1）将视频分割成帧图像并从图像中提取人体部位框图；（2）用描述子提取框图中的人体特征；(3)将提取的特征用随机特征映射法映射到由映射向量所组成的空间中；(4)用训练样本的映射向量和真实姿态构成人体运动跟踪的模型，将该人体运动跟踪模型分割成多个子模型；（5）用多个学习机协同求解这多个子模型的公共解，利用该公共解估计测试样本的真实运动姿态。本发明专利技术与传统的人体运动跟踪方法相比，在达到相同的精度的前提下，具有硬件成本低，训练时间短的优点，可用于运动捕获、人机交互及视频监控。

【技术实现步骤摘要】

本专利技术属于计算机视觉及视频图像处理
，主要涉及视频人体运动跟踪和三维姿态恢复，可用于运动捕获、人机交互及视频监控。
技术介绍
视频人体运动跟踪是近二十年内计算机视觉领域的重大热点之一，人物是核心的内容，反映着图像的核心语义特征。此类技术已在运动捕获，人机交互，视频监控等多领域获得了初步的应用，并具重大的应用前景。对视频人体运动跟踪的理解和解译属于视频图像处理范畴，还涉及模式识，别机器学习及信号处理，等众多学科。三维人体运动跟踪和姿势恢复一系列的研究是计算机视觉领域一个长期存在，重要而距离彻底解决尚很遥远的问题。对人类来说，观看一幅图像时几乎可以瞬间理解其中人物的姿态；然而对于计算机来说，这种理解需要克服重重困难，必需要一种有效的图像特征表征其中的人物运动状态以及图像纹理，轮廓等细节信息，作为计算机的识别接口。在运动跟踪过程中，需要将运动跟踪判定方法和图像特征表示结合使用达到对人体的运动跟踪和三维姿势恢复。现有的运动跟踪中使用的跟踪判定方法大致可分为产生式和判别式。图像特征表示方法大致可以分为基于全局特征点方法和基于局部字码表的特征表示方法，如梯度直方特征H0G、层级化特征HMAX、形状上下文、及尺度不变性特征点的方法等。目前已经有很多成熟的建模方法被运用到人体运动跟踪和三维姿态重构中。但是大部分的建模方法均由单个学习机完成，这样使得内存需求和运算时间都非常巨大，特别在要处理的数据几何级增长的今天，这些方法显得力不从心，它们的实际应用被大大限制了
技术实现思路
本专利技术的目的在于针对上述已有技术的不足，提出一种，以在保持精度的情况下，降低学习机的内存需求和训练所需的时间。本专利技术的技术思路是:从视频图像序列中提取含有人体全身的图像部位，然后利用一些经典的描述子对图像提取特征，然后对得到的特征向量做随机映射得到映射向量。将此映射与相应训练图像的真实姿势分构成的人体运功跟踪模型分割为N个子模型，每个子模型用一个学习机处理。在迭代求解过程中，各个学习机并行处理，并互相影响最终共同决策出一个人体运功跟踪模型公共解，该公共解与分割前的模型的解具有相同的精度。学习到公共解之后就可对待测试的视频图像序列进行运动跟踪和三维姿势恢复。这样一来本来由一个学习机承担的硬件成本和训练时间就被这N个学习机分摊了，因此本专利技术能在保持精度不变的情况下，降低硬件需求和训练所需的时间。本专利技术的技术方案通过如下步骤实现:视频图像处理具体包括:( I)输入待处理的真实姿态已知的训练视频和测试视频，并将其转换为连续单幅序列图，根据图像内容确定需要识别的主要人体目标图像区域，并用矩形框体将其提取出，再将由训练视频得到的和由测试视频得到的图像区域的大小统一转换为近似于人体运动比例的64X192像素的初始图像，分别作为训练样本和测试样本，训练样本的真实姿态用姿态矩阵表示，其中Ntrain是训练样本的个数，E是真实姿态的维数；(2)利用描述子提取训练样本和测试样本的特征，得到训练样本的特征矩阵JT =[. ,...和测试样本的特征矩阵Xf =[χΙ,χζ,...,Xrq,...,XtnJt，其中 Xp 表示训练样本的特征向量，P=I, 2，...，Ntrain, Xq表示测试样本的特征向量，q=l, 2,…,Ntest, Ntest为测试样本的个数，T表示矩阵的转置操作；(3)利用随机特征映射法将训练样本的特征矩阵X和测试样本的特征矩阵Xt投影到随机特征空间中，分别得到训练样本的映射矩阵本文档来自技高网...

【技术保护点】
一种基于分布式学习的人体运动跟踪方法，包括如下步骤：（1）输入待处理的真实姿态已知的训练视频和测试视频，并将其转换为连续单幅序列图，根据图像内容确定需要识别的主要人体目标图像区域，并用矩形框体将其提取出，再将由训练视频得到的和由测试视频得到的图像区域的大小统一转换为近似于人体运动比例的64×192像素的初始图像，分别作为训练样本和测试样本，训练样本的真实姿态用姿态矩阵表示，其中Ntrain是训练样本的个数，E是真实姿态的维数；（2）利用HoG描述子或Shift描述子，提取训练样本和测试样本的特征，得到训练样本的特征矩阵和测试样本的特征矩阵其中xp表示训练样本的特征向量，p=1,2,...,Ntrain，xq表示测试样本的特征向量，q=1,2,...,Ntest，Ntest为测试样本的个数，T表示矩阵的转置操作；（3）利用随机特征映射法将训练样本的特征矩阵X和测试样本的特征矩阵Xt投影到随机特征空间中，分别得到训练样本的映射矩阵Φ(X)=[Φ(x1)T,Φ(x2)T,···,Φ(xp)T,···,Φ(xNtrain)T]T和测试样本的映射矩阵Φ(Xt)=[Φ(x1)T,Φ(x2)T,···,Φ(xq)T,···,Φ(xNtest)T]T,其中Φ(xp)和Φ(xq)分别表示训练样本的特征向量xp和测试样本的特征向量xq在随机特征空间中的投影；（4）将训练样本的映射矩阵Φ(X)和与其对应的姿态矩阵Y构成人体运动跟踪模型：θ′=argminθ12||Y-Φ(X)θ||F2,其中12||Y-Φ(X)θ||F2是该模型所要最小化的目标函数，θ是目标函数的变量，||·||F表示矩阵的Frobenius范数；（5）将人体运动跟踪模型θ′分割成N个同解子模型θc=argminθi12||Yi-Φ(Xi)θi||F2,其中12||Yi-Φ(Xi)θi||F2是第i个子模型所要最小化的目标函数，θi是第i个子模型的目标函数的变量，Φ(Xi)表示训练样本的映射矩阵Φ(X)的子矩阵，即Φ(X)=[Φ(X1)T,Φ(X2)T,…,Φ(Xi)T,…,Φ(XN)T]T，矩阵Yi表示姿态矩阵Y的子矩阵，即Y=[(Y1)T,(Y2)T,…,(Yi)T,…,(YN)T]T，i=1,2,...,N表示第i 个子模型；（6）用N个学习机求解这N个子模型，即用一个学习机求解一个子模型，在求解过程中，N个学习机互相协同得到这N个子模型的公共解θc，并将此公共解θc作为人体运动跟踪模型θ′=argminθ12||Y-Φ(X)θ||F2的解，即θ′=θc；（7）用测试样本的映射矩阵Φ(Xt)和人体运动跟踪模型的解θ′，计算测试样本所对应的真实三维运动姿态Yt=Φ(Xt)θ′。FDA00003155142000011.jpg,FDA00003155142000012.jpg,FDA00003155142000013.jpg...

【技术特征摘要】
1.一种基于分布式学习的人体运动跟踪方法，包括如下步骤: (1)输入待处理的真实姿态已知的训练视频和测试视频，并将其转换为连续单幅序列图，根据图像内容确定需要识别的主要人体目标图像区域，并用矩形框体将其提取出，再将由训练视频得到的和由测试视频得到的图像区域的大小统一转换为近似于人体运动比例的64X 192像素的初始图像，分别作为训练样本和测试样本，训练样本的真实姿态用姿态矩阵Fe表示，其中Ntrain是训练样本的个数，E是真实姿态的维数； (2)利用HoG描述子或Shift描述子，提取训练样本和测试样本的特征，得到训练样本的特征矩阵2.根据权...

【专利技术属性】
技术研发人员：韩红，甘露，郭玉言，刘三军，祝健飞，
申请(专利权)人：西安电子科技大学，
类型：发明
国别省市：