基于回归的主动外观模型初始化方法技术

本发明专利技术公开了一种基于回归的主动外观模型初始化方法，属于计算机视觉领域。该方法的实现过程为：在利用主动外观模型进行人脸特征点自动跟踪时，假设已知视频跟踪中第一帧的目标位置信息，在后续跟踪过程中，利用双阈值特征对应算法获取相邻帧图像间的离散特征对应，利用通过核岭回归算法建立的离散特征点与结构化标定点之间空间映射关系，获取人脸特征的初始标定，可大幅降低后续迭代次数，同时提高标定精度。与传统主动外观模型的初始化方法相比，本发明专利技术的可辅助主动外观模型获取更为准确的人脸特征点标定结果。

【技术实现步骤摘要】

本专利技术属于图像分析
，具体地说，属于一种。
技术介绍
在计算机视觉研究领域,利用主动外观模型(Active Appearance Model, AAM)方法进行目标形状特征点定位是近年来关注和研究的热点，它于1998年由Edwards等人首次提出的，并在人脸和其他非刚体的配准与识别中得到了广泛的应用。AAM算法是对主动形状模型方法(Active Shape Mode I, ASM)的一种改进，与ASM相比，它考虑了全局信息的约束，采用形状和纹理融合的统计约束，即统计表观约束。并且，AAM的搜索原理借鉴了基于合成的分析技术(analysis-by-synthesis, ABS)的主要思想,通过对模型中参数的不断调整而使模型逐渐逼近实际的输入模型。AAM虽然有效，但无论是何种改进算法，其算法的拟合效率与精度都与模型初始位置的给定有着密切的关系。若初始位置较差，则AAM中基于梯度下降的拟合算法将极有可能陷入局部极小而得到非常差的目标形状定位结果。因此初始特征点的给定是影响算法鲁棒性和速度的关键因素，能够自动进行人脸特征点的自动准确标定可以使算法的效率及精确度大大提高。传统的AAM初始化方法包括:(I)利用均值脸作为初始形状，初始化误差较大；(2)利用人脸特征(如双眼、嘴)定位信息完成初始化，但对定位精确度有较高要求；[3]在视频跟踪中，利 用前帧定位结果作为当前帧定位的初始信息，但只能适应帧间变化较小的情形。
技术实现思路
本专利技术的目的在于:针对现有主动外观模型初始化方法的不足，以人脸特征点视频跟踪为研究对象，提出了一种。由于方法考虑了帧之间的相互关联，本专利技术能在丢帧的跟踪环境下大大提高目标形状的跟踪性能。本专利技术所解决的技术方案是:算法假设已知第一帧的关键特征点，首先利用双阈值方法获取前一帧与当前帧图像中精确的局部特征点对应，再利用核岭回归算法(KernelRidge Regress1n, KRR)建立的离散局部特征点对应与结构化标定点之间的映射关系，从局部特征对应中提取当前帧的标定点定位信息。本专利技术技术方案的具体实现步骤如下:1.选定训练视频，利用核岭回归算法建立散乱局部特征点与人脸特征标定点之间空间位置的映射Mv ；2.利用Cascade Adaboost算法检测人脸,并将人脸图像归一化为250*250大小；3.计算前帧重建图像与当前重建图像之间的误差e = ^\h{W{x.,P))- /,(W(x., p))|，其中I1和I2分别为前帧人脸图像和当前人脸图像，X为均值形状Stl下的像素集合，P为从均值形状Stl到当前重建形状s的变形参数，W(x ；p)为重建形状s下的像素集合，N为均值形状下像素的个数。当e > e(l时，说明前帧人脸图像与当前人脸图像差别较大，转入步骤(3)，否则，转入步骤(5)，其中θ(ι = 5e-4为误差阈值。4.提取前帧人脸图像I1和当前帧人脸图像I2的SIFT特征，利用基于双阈值的特征匹配方法进行匹配，得到匹配对C= {(ck，c' k)，k=l，2，…，qj，其中qc为匹配对个数；5.在前帧人脸图像I1中提取空间向量V = {Vk，k = 1，2，…，n}，其中η为人脸特征点个数。6.根据步骤(1)中得到的映射Mv参数以及步骤(4)中得到的匹配点，建立测试阶段离散特征点空间位置矢量V作为输入送入映 射Mv，输出与之相对应的人脸标定点，即得到对于当前帧跟踪所用的主动表观模型的初始值；上述的，步骤I中的具体实现过程如下:(I)数据初始化,令时刻k = O ;(2)在前帧人脸图像I1GO与当前人脸图像I2 (k)间通过建立均衡化概率模型的匹配方法得到散乱的匹配点，令k = k+Ι ；；(3)根据散乱匹配点，从前帧人脸图像和当前人脸图像中获取KRR训练数据i W = =其中 m = 66 为标定点个数；(4)若 k < n，返回(1.2)，否则获取总训练数据7；:, === 12,…，m ,其中η = 100为训练样本对数。(5)对每一个人脸标定点j，首先根据训练数据{O = U,...，《}，计算核函数矩阵Kj，其中(0^,Ο = εχρ(-|^-Κ|2/σ)，、=1，2,...?』2==1，2,.』，其中。= 0.025;然后创建大小与矩阵Kj相同的单位矩阵I,其中Ukpk2) = Lk1 = 1,2,...n,k2 == 1,2,...η ;之后计算核系数向量％，其中《,=0?:/+奶-|口，其中λ = 0.5X 10_7;最后根据上述计算，得到回归核函数= Σα,κ(ν，ν。 A-=I,.(6)获得映射集合 Mv= {fJ (V)，j = I，2，...，m}。上述的，步骤4的具体实现过程如下(I)双阈值初始化:设阈值初始值Il1 = 1.5, η2 = 8 ;循环次数Uer1 = O, iter2=O ;循环次数限制Uerjiiax1 = 10, iter_max2 = 20,邻近匹配点个数t = 5 ;(2)从前帧人脸图像I1和当前人脸图像I2中提取SIFT特征；(3)利用阈值η !做SIFT特征匹配,并令Iter1 = Iter1+!；(4)若匹配个数小于 t,且 Uer1 < Uerjiiax1,则令 H1 = Π !+0.15,并返回(4.3)；若匹配个数大于t,或Iter1 > Uerjiiax1，则转入(4.5)；(5)利用阈值Π2做SIFT特征匹配,并令iter2 = iter2+l ；(6)若匹配个数小于 2,且 iter2 < iter_max2,则令 n2 = Π2+0.02,并返回(4.5)；若匹配个数大于2且小于5,且iter2 < iter_max2,则令n2 = n2_0.01,并返回(4.5);否则，转入(4.7)；(7)获得利用Jl1得到的密集匹配集B = {(bj, b/」)，j = 1，2，…，qB}，其中qB为密集匹配的个数，以及利用H2得到的精确匹配集A= Kai, a' i)，i = l，2，…，qA}，其中qA为密集匹配的个数；(8)计算精确匹配集中第一和最后两对匹配点的距离比值=-?i|.(9)对于密集匹配集中的每一对匹配(bj; b /」)，首先计算1=mH6/-φ=argminl*v _a,l，然后计算 C=卜;.-?；| ,并得到;^LVrati0 ，之后计算 Θ = atan ((at (y) -bj (y)) / (at (x) -bj (x)))，Θ 1 = atan ((a 1 t (y) _b 1 」(y)) /(at (X)-bj (X))),并计算 sigx = sign (at (y) -bj(y)), sigy = sign (at (x)—b」(x)),sig ' x = sign (a 1 t (y) -b 1 j (y)), sigy = sign (a 1 t (x) -b 1 j(x))。如果min(L, L)/max(Z,, L) > 0.91 and \θ-θ'\<5αη? sigx = sig'x and sigy = sigy，则保存当前匹配,否则将该匹配删除。最后得到最终匹配对C= {(ck，c' k本文档来自技高网...

【技术保护点】
一种基于回归的主动外观模型初始化方法，其特征在于：在利用主动外观模型进行人脸特征点自动跟踪时，假设已知视频跟踪中第一帧的目标位置信息，利用局部特征对应方法获取前后帧图像的散乱局部点特征对应。利用核岭回归算法建立散乱局部特征点与人脸特征标定点之间的空间位置映射关系，从而完成主动外观模型的初始化工作，其具体实现步骤如下：(1)选定训练视频，利用核岭回归算法建立散乱局部特征点与人脸特征标定点之间空间位置的映射Mv；(2)利用Cascade Adaboost算法检测人脸，并将人脸图像归一化为250*250大小；(3)计算前帧重建图像与当前重建图像之间的误差其中I1和I2分别为前帧人脸图像和当前人脸图像，x为均值形状s0下的像素集合，p为从均值形状s0到当前重建形状s的变形参数，W(x；p)为重建形状s下的像素集合，N为均值形状下像素的个数；当e＞e0时，说明前帧人脸图像与当前人脸图像差别较大，转入步骤(3)，否则，转入步骤(5)，其中e0＝5e‑4为误差阈值；(4)提取前帧人脸图像I1和当前帧人脸图像I2的SIFT特征，利用基于双阈值的特征匹配方法进行匹配，得到匹配对C＝{(ck，c′k)，k＝1，2，…，qC}，其中qC为匹配对个数；(5)在前帧人脸图像I1中提取空间向量V＝{Vk，k＝1，2，…，n}，其中n为人脸特征点个数；(6)根据步骤(1)中得到的映射Mv参数以及步骤(4)中得到的匹配点，建立测试阶段离散特征点空间位置矢量V作为输入送入映射Mv，输出与之相对应的人脸标定点，即得到对于当前帧跟踪所用的主动表观模型的初始值。...

【技术特征摘要】
1.一种基于回归的主动外观模型初始化方法，其特征在于:在利用主动外观模型进行人脸特征点自动跟踪时，假设已知视频跟踪中第一帧的目标位置信息，利用局部特征对应方法获取前后帧图像的散乱局部点特征对应。利用核岭回归算法建立散乱局部特征点与人脸特征标定点之间的空间位置映射关系，从而完成主动外观模型的初始化工作，其具体实现步骤如下: (1)选定训练视频，利用核岭回归算法建立散乱局部特征点与人脸特征标定点之间空间位置的映射Mv ； (2)利用CascadeAdaboost算法检测人脸，并将人脸图像归一化为250*250大小； (3)计算前帧重建图像与当前重建图像之间的误差C= Ilz2(F(AP))-A(F(A^))I，其中I1和I2分别为前帧人脸图像和当前人脸图像，X为均值形状Stl下的像素集合，P为从均值形状Stl到当前重建形状s的变形参数，W(x ；p)为重建形状s下的像素集合，N为均值形状下像素的个数；当e > %时，说明前帧人脸图像与当前人脸图像差别较大，转入步骤(3)，否则，转入步骤(5)，其中θ(ι = 5e-4为误差阈值； (4)提取前帧人脸图像I1和当前帧人脸图像I2的SIFT特征，利用基于双阈值的特征匹配方法进行匹配，得到匹配对C= {(ck，c' k)，k=l，2，…，qj，其中％为匹配对个数； (5)在前帧人脸图像I1中提取空间向量V= {Vk,k = 1,2,…，η}，其中η为人脸特征点个数； (6)根据步骤(1)中 得到的映射Mv参数以及步骤(4)中得到的匹配点，建立测试阶段离散特征点空间位置矢量V作为输入送入映射Mv，输出与之相对应的人脸标定点，即得到对于当前帧跟踪所用的主动表观模型的初始值。2.根据权利要求1所述的基于回归的主动外观模型初始化方法，其中步骤(1)按如下进行: (1.D数据初始化，令时刻k = O ; (1.2)在前帧人脸图像I1GO与当前人脸图像I2(k)间通过建立均衡化概率模型的匹配方法得到散乱的匹配点，令k = k+Ι ；； (1.3)根据散乱匹配点，从前帧人脸图像和当前人脸图像中获取KRR训练数据Tyik) == 12,...,m]，其中 m = 66 为标定点个数； (1.4)若 k < n，返回(1.2)，否则获取总训练数据& == 1,2，...,《i，y = 1,2,...,/?，其中η = 100为训练样本对数； (1.5)对每一个人脸标定点j，首先根据训练数据町，々=I，2，…，塒，计算核函数矩阵I，其中《;(^^) = 6\口(—|% -V^Iσ) ’ Ii1 = 1,2,...n, k2 == 1,2,...η,其中 σ = 0.025 ;然后创建大小与矩阵Kj相同的单位矩阵I,其中I Qi1, k2) = I, ki = 1,2,...n, k2 == I,2，...η;之后计算核系数向量α」，其中义=([7+均-％，其中λ =0.5Χ10_7;最后根据上述计算，得到回归核函数//(F) = Σα,κ(ν，νο;(1.6)获得映射集合 Mv = {fj (V)，j = 1，2，...，m}。3.根据权利要求2所述的基于回归的主动外观模型初始化方法，其中步骤(1.3)按如下进行: (1.3.1) SjSi1GO中的当前标定点，ο为I1GO中当前t个邻近匹配点中心，o'为与其对应的I2 (k)中当前t个匹配点中心； (1.3.2)计算从匹配点i (i的值为匹配点个数)到匹配点的中心点O的距离以及直线Oi与X...

【专利技术属性】
技术研发人员：陈莹，化春键，郭修宵，
申请(专利权)人：江南大学，
类型：发明
国别省市：江苏;32