低分辨率图像处理中的头部姿态估计的方法技术

一种图像处理技术领域的低分辨率图像处理中的头部姿态估计的方法。根据训练视频及其已知的头部姿态，提取视频中的训练图像块，训练一个用于估计头部姿态的霍夫森林；霍夫森林是一个二叉分类树，训练的结果是使得在树的每一个叶子节点中所包含的训练数据的不确定性最小；在完成训练过程后，对输入图像帧进行头部姿态估计；利用霍夫森林对输入图像中的图像分块分类到一个叶子节点，再基于子节点中保存的训练数据在头部姿态空间中投票，最后累计投票结果，将得到投票最多的值作为姿态估计结果。本发明专利技术首先该方法可以适用于低分辨率视频中的图像，且可以同时估计图像中人体头部的位置和朝向。

【技术实现步骤摘要】

本专利技术涉及一种图像处理
的方法，特别是涉及一种低分辨率图像处理中 的头部姿态估计的方法。
技术介绍
从图像中估计人体的三维姿态一直是很多计算机视觉应用如智能监控、运动分 析、虚拟现实及人机交互中的一个关键问题。当给出一幅图像时，一个理想的系统应该能够 同时估计出头部的位置及朝向(当使用“姿态”一词时，通常表示位置加上朝向)，但是很多 已有的方法只能解决其中的一个问题。如常用的头部跟踪方法只是估计头部在图像上的位 置。而通常的头部姿态估计方法需要其输入图像中的头部位置已知并且对齐，而且需要较 高分辨率的人脸图像。常见的头部跟踪方法如Condensation及均值漂移，它们均假设在跟踪过程中的 头部图像保持不变或较小的变化，然后用一种类似模板匹配的方式来跟踪。并且对于这 些跟踪方法，在跟踪前需要首先指定头部的初始位置。Wei等人2002年在International Conference on ImageProcessing 中的论 文 Head pose estimation using gabor eigenspace modeling(利用gabor特征空间建模的头部姿态估计)提出的方法通过已知姿 态的对齐的脸部训练图像，将图像转换到一个二维距离空间，然后当给出输入图像时，利用 最近邻法得到其姿态。这种方法需要的输入数据是位置及大小均确定的脸部图像。因此本 领域需要一种能够同时估计头部位置及朝向的方法，并且能够工作在普通相机得到的较低 分辨率下。
技术实现思路
本专利技术的目的在于针对现有技术的不足，提出一种低分辨率图像处理中的头部姿 态估计的方法，本专利技术能够同时估计头部位置及朝向，并且能够在较低分辨率下工作。本专利技术是通过以下技术方案实现的本专利技术根据训练视频及其已知的头部姿态，提取训练视频中的图像块，训练一个 用于估计头部姿态的霍夫森林。霍夫森林实际上是一个二叉分类树，训练的结果是使得在 树的每一个叶子节点中所包含的训练数据的不确定性最小。在完成训练过程后即可以对输 入图像帧进行头部姿态估计。利用霍夫森林对输入图像中的图像分块分类到一个叶子节 点，再基于子节点中保存的训练数据在头部姿态空间中投票，最后累计投票结果，将得到投 票最多的值作为姿态估计结果。本专利技术包括以下步骤①.提取训练图像块提取作为训练数据给出的图像，提取其中人体部分的图像 块，其中对应头部位置的图像块为训练的正样本，其余位置的为负样本，同时记录其对应的 姿态真值。②.计算训练图像块的图像特征，包括像素的Lab值、一阶及二阶梯度值和梯度方向直方图。③.训练霍夫森林。训练霍夫森林等价于建立输入图像块的高维特征空间的一个 划分。训练的目的是使得每一个划分中的训练样本对应的姿态真值的不确定性最小。④.提取测试图像中的图像块并提取特征。⑤.利用霍夫森林投票估计头部姿态。首先利用霍夫森林对测试图像中的图像块 进行分类。对于每一个图像块达到的叶子节点，基于其中保存的训练数据对头部姿态投票， 投票最多的值作为头部姿态估计结果。与现有技术相比，本专利技术首先可以适用于低分辨率视频中的图像，且可以同时估 计图像中人体头部的位置和朝向。本专利技术适用于从普通相机拍摄的低分辨率视频图像中 估计其中人体的头部三维姿态，可用于智能监控，运动分析、虚拟现实及高级人机交互等方附图说明图1为实施例视频中的(a) —帧图像，(b)及其中对应的人体及头部位置和(C)用 于训练分类器的正样本和负样本的范例。图2为一个二叉分类树的示意图。图3为实施例所用视频中的(a) —幅图像，(b) (C)两个图像块对于头部位置的投 票结果及(d)所有投票结果的和。图4为实施例视频中头部姿态估计的结果。具体实施例方式以下结合附图对本专利技术的实施例作详细说明以下实施例在以本专利技术技术方案为 前提下进行实施，给出了详细的实施方式和过程，但本专利技术的保护范围不限于下述的实施 例。实施例本实施例选用由某大学提供的人体运动视频和其对应的动作捕捉数据被用于训 练和最终结果评估。其视频场景的分辨率为640X480，但其中人体头部的像素高度根据距 离远近的变化范围仅为40 65像素。实施例中所选择的视频为二号人物的奔跑动作。本实施例从该视频中估计头部姿态的方法包括以下步骤1.提取训练图像块。给定训练视频后，首先根据背景减除的结果大致定位在每一 帧中的人体位置，即确定图1(a)中的人体的定位方框。同时根据动作捕捉数据中给定的头 部姿态真值定位头部的位置，即确定图1(b)中的头部定位方框。然后在人体所在的方框中 提取图像块，其中头部方框内的图像块作为正样本，而头部以外位置的样本作为负样本。其 中对于正样本，根据动作捕捉数据记录下该样本中心点相对于头部的位置，同时记录头部 的朝向。2.计算训练图像块的图像特征。首先将原彩色图片由RGB空间转换到Lab空间， 因为Lab空间更加符合人眼对色彩的感知，其中L为亮度通道而ab为两个色彩通道。每个 像素在Lab通道上的三个值构成了最后的特征空间的前三个维度。其次分别在x、y方向上 对原图像的灰度图求一阶和二阶梯度，通过与X、Y方向的sobel算子在图像平面上卷积得5到，这四个值为特征空间的4 7维度。最后的12个维度是以该点为中心的图像块的梯度 方向直方图。图像块中每一点的梯度方向被分为12个类，再根据梯度值的大小累加这12 个类的方向强度。所得到的梯度方向密度被实践证明有很好的分类效果。于是，对于步骤1 中提取出的每一个图像块中的每一个像素点，一共可以计算出19个维度的特征，这些特征 被用于霍夫森林的训练及分类。3.训练霍夫森林。霍夫森林本质上是一系列的二叉分类树，图2 (a)中所示的就是 一个二叉分类树。图中以方块标记的节点，其非叶子节点为测试节点，而叶子节点就代表不 同的分类结果。样本在经过一个测试节点时，会根据样本的图像特征值进行一个测试，当结 果为真时，该样本进入该测试节点的左边的子节点，反之则进入右边的子节点。所进行的测 试的形式为F (P1, i)-F(P2, i) > d (1)其中F为样本对应的特征值，P1和P2是样本图像块上的两个位置点，i为所选择 的特征维度，d是一个实数。该测试可以表述为图像F的第i维特征上，P1处与P2处的差 值是否大于d。每个测试实际上是对高维特征空间的一次分割，如图2(a)所示的二叉分类树给 出的层次化测试就是对整个特征空间的一个划分，而叶子节点就表示最终的划分块，即分 类结果，如图2(b)所示。对于霍夫森林中的每个二叉分类树来说，在通过测试样本构造树 的结构和测试参数时，所需达到的标准是使得每个划分空间中所包含样本集的不确定性尽量小。在头部姿态估计问题中，不确定性包含两方面，一是正样本和负样本的分类不确定性，二是参数的不确定性。分类不确定性用划分中样本集的熵来衡量2Ul(P) = -YjP1XogP1(2)i=\其中P1和p2分别为样本集P中正负样本所占的比率。对于这个公式，当样本全为 正样本或全为负样本时的不确定性最小，其值为0。当正负样本各占50%时，取值最大。在头部姿态估计中，参数的不确定性表示样本集中每个样本对应的头部位置的偏 差，可以用方差表示U2(P) =-^(X1-~Xlf(3)i=l对于一个测试来说，本文档来自技高网...

【技术保护点】
一种低分辨率图像处理中的头部姿态估计的方法，其特征在于，根据训练视频及其已知的头部姿态，提取视频中的训练图像块，训练一个用于估计头部姿态的霍夫森林；霍夫森林是一个二叉分类树，训练的结果是使得在树的每一个叶子节点中所包含的训练数据的不确定性最小；在完成训练过程后，对输入图像帧进行头部姿态估计；利用霍夫森林对输入图像中的图像分块分类到一个叶子节点，再基于子节点中保存的训练数据在头部姿态空间中投票，最后累计投票结果，将得到投票最多的值作为姿态估计结果。

【技术特征摘要】
一种低分辨率图像处理中的头部姿态估计的方法，其特征在于，根据训练视频及其已知的头部姿态，提取视频中的训练图像块，训练一个用于估计头部姿态的霍夫森林；霍夫森林是一个二叉分类树，训练的结果是使得在树的每一个叶子节点中所包含的训练数据的不确定性最小；在完成训练过程后，对输入图像帧进行头部姿态估计；利用霍夫森林对输入图像中的图像分块分类到一个叶子节点，再基于子节点中保存的训练数据在头部姿态空间中投票，最后累计投票结果，将得到投票最多的值作为姿态估计结果。2.根据权利要求1所述的低分辨率图像处理中的头部姿态估计的方法，其特征是，包 括以下步骤①.提取训练图像块提取作为训练数据给出的图像，提取其中人体部分的图像块，其 中对应头部位置的图像块为训练的正样本，其余位置的为负样本，同时记录其对应的姿态真值；②.计算训练图像块的图像特征，包括像素的Lab值、一阶及二阶梯度值和梯度方向 直方图；③.训练霍夫森林，等价于建立输入图像块的高维特征空间的一个划分，训练的目的 是使得每一个划分中的训练样本对应的姿态真值的不确定性最小；④.提取测试图像中的图像块并提取特征；⑤.利用霍夫森林投票估计头部姿态，首先利用霍夫森林对测试图像中的图像块进行 分类，对于每一个图像块达到的叶子节点，基于其中保存的训练数据对头部姿态投票，投票 最多的值作为头部姿态估计结果。3.根据权利要求1或者2所述的低分辨率图像处理中的头部姿态估计的方法，其特征 是，所述的训练图像块，是指给定训练视频后，首先根据背景减除的结果大致定位在每一帧 中的人体位置，确定头部定位方框，然后在人体所在的方框中提取图像块，其中头部方框内 的图像块作为正样本，而头部以外位置的样本作为负样本，其中对于...

【专利技术属性】
技术研发人员：张鸣，孙兵，李科，刘允才，
申请(专利权)人：上海交通大学，
类型：发明
国别省市：31[中国|上海]