一种基于面部表情捕捉的图像自适应逐帧追踪方法技术

本发明专利技术公开了一种本发明专利技术提出的自适应逐帧数据追踪算法，将捕捉的运动数据分成了两类，一类是运动变化小且缺失非严重，另一类为运动变化大或缺失严重，根据不同类别的运动数据设置不同的追踪半径，以此最大限度的追踪有效数据，获得脸部运动变化的细节信息，且该过程中数据追踪与修复同步进行，是逐帧操作的，可以在追踪完当前帧后，为下一帧的精确追踪做好准备。该算法可以实时地检测出错误追踪并及时的修改追踪半径。因为本发明专利技术提出的自适应动态追踪是逐帧进行的，这样在及时发现错误追踪的时候可以以较小的代价修正，为下一帧数据的追踪效果作好了基础，得到了更精确的追踪数据。

【技术实现步骤摘要】

本专利技术涉及。
技术介绍
人脸运动捕捉数据处理的人脸表情动画很大程度上依赖于运动数据处理的精度。 传统的数据追踪方法主要分为两种一.分步静态追踪。该方法中追踪与修复分步进行，首先根据采集的捕捉数据的特点设定合理的静态追踪半径，扫描所有的帧数据，若在追踪半径范围之内存在满足条件的点，则该点为有效点，否则，视该点为缺失点，以此识别出所有的有效点与缺失点。其次， 在追踪完所有帧数据之后，对识别出的所有缺失数据进行修复，得到完整的运动数据。该方法首先根据静态追踪识别出所有的有效点与缺失点，然后在追踪后的数据上修复缺失数据。然而由于该方法中数据追踪与修复分步进行，所以追踪过程是在非完整数据上进行的，因此追踪的数据不够精确，容易出现错误追踪。而且在追踪过程中设置的追踪半径是(固定的)静态的，每个标记点的追踪半径在整个追踪过程中保持一成不变，不适应人脸表情运动时的几何局部结构变化。采用该方法重构人脸表情动画，最终生成的表情动画容易产生扭曲变形，不够自然，缺乏真实性。二.逐帧静态追踪。传统的数据追踪方法中，另一种数据追踪方法为逐帧静态追踪。该方法中数据追踪与修复同步进行逐帧操作，首先，根据捕捉的数据特点设定合理的静态阈值作为追踪半径，根据追踪半径对当前帧数据进行追踪，识别出当前帧中有效点及缺失点。然后，对追踪后当前帧的缺失数据进行修复。最后，以修复后的帧数据作为下一帧追踪的基础，重复追踪过程。逐帧静态追踪方法明显区别于分步静态追踪，该方法在追踪完一帧后即对当前帧中缺失数据进行修复，以修复后的完整数据为基础，进行下一帧的数据追踪，因此该方法要求具有鲁棒的数据修复方法。逐帧追踪的数据较分步静态追踪准确。采用该方法重构后的人脸表情运动真实，但不够光顺。主要是因为追踪半径是静态的，不符合人脸表情运动的几何局部结构变化，追踪后的数据与真实的数据存在一定的误差。
技术实现思路
本专利技术针对以上问题的提出，而研制的一种面部表情捕捉的图像自适应逐帧追踪方法，具有如下步骤a.选择具有多个标记点的一帧人脸表情图像作为当前帧，计算所述当前帧中多个标记点的位置与前一帧中最邻近标记点位置的两点间距离的平均值I ;b.根据步骤a得出的平均值与经验值，设定多条长度不同的追踪半径；C.计算前一巾贞中，当前点与当前巾贞的最小距离值II,根据该值II选择步骤b中的多条追踪半径中的一条作为当前帧标记点的追踪半径；d.通过检测当前帧中标记点是否在以该标记点在上一帧的位置为圆心、半径为追4踪半径的圆中，判断该点是否为缺失点；e.针对步骤d中检测到的缺失点的数据，进行数据修复；f.检测是否存在错误追踪，若不存在错误追踪，则完成当前帧所有标记点的追踪， 进行下一帧的追踪；若存在错误追踪，则修改追踪半径，重新追踪整个当前帧数据标记点， 重复步骤b-f。在步骤a之前还包括在面部标定多个标记点，输入每个标记点的运动特征的数据，针对每个标记点设定。在步骤f之后，对当前帧图像进行降噪处理对每个标记点的运行轨迹采用三阶B 样条曲线进行曲线拟合。所述步骤a的运算公式为权利要求1.一种面部表情捕捉的图像自适应逐帧追踪方法，其特征在于具有如下步骤a.选择具有多个标记点的一帧人脸表情图像作为当前帧，计算所述当前帧中多个标记点的位置与前一帧中最邻近标记点位置的两点间距离的平均值I ;b.根据步骤a得出的平均值与经验值，设定多条长度不同的追踪半径；c.计算前一巾贞中，当前点与当前巾贞的最小距离值II,根据该值II选择步骤b中的多条追踪半径中的一条作为当前帧标记点的追踪半径；d.通过检测当前帧中标记点是否在以该标记点在上一帧的位置为圆心、半径为追踪半径的圆中，判断该点是否为缺失点；e.针对步骤d中检测到的缺失点的数据，进行数据修复；f.检测是否存在错误追踪，若不存在错误追踪，则完成当前帧所有标记点的追踪，进行下一帧的追踪；若存在错误追踪，则修改追踪半径，重新追踪整个当前帧数据标记点，重复步骤b_f。2.根据权利要求I所述的一种面部表情捕捉的图像自适应逐帧追踪方法，其特征还在于在所述步骤a之前还包括在面部标定多个标记点，输入每个标记点的运动特征的数据， 针对每个标记点设定三维坐标。3.根据权利要求I所述的一种面部表情捕捉的图像自适应逐帧追踪方法，其特征还在于在所述步骤f之后，对当前帧图像进行降噪处理对每个标记点的运行轨迹采用三阶B 样条曲线进行曲线拟合。4.根据权利要求1-3任意权利要求所述的一种面部表情捕捉的图像自适应逐帧追踪方法，其特征还在于所述步骤a的运算公式为Y €*νρα :其中60为标记点的个数；所述步骤b所述的经验值为2，当avedis < 2时，判定此时表情变化较小，此时设定追踪半径I，traceradiuSi = 3. 5Xavedis ;当avedis > 2时判定此时表情变化较大，此时设定追踪半径2, traceradius2 = I. 5Xavedis。5.根据权利要求4所述的一种面部表情捕捉的图像自适应逐帧追踪方法，其特征还在于所述步骤c中计算所述前一帧中，当前点与当前帧的最小距离值II ■y](x - pt.xf + (y - pt.yf + (z - pt.zf其中Pt为当前巾贞中的点，X，y，z为当前点的坐标值。6.根据权利要求I所述的一种面部表情捕捉的图像自适应逐帧追踪方法，其特征还在于所述步骤e，数据修复的具体算法为找到某一缺失点，设定前一帧中与当前帧中均为非缺失点的3个相邻点，利用公式7.根据权利要求I所述的一种面部表情捕捉的图像自适应逐帧追踪方法，其特征还在于所述步骤f判定是否存在错误追踪的采用如下公式Vec1. GetAngBeteen (vec2 false) = = Illvec1-GetvecModilusO = = O | | vec2. GetVecModilus O ==0其中Vec1 = Pti-Ptw表示Vec1为当前巾贞中第i点与第i+Ι点组成的向量，Vec2 = Pti-PtH表示vec2为当前巾贞中第i点与第i-Ι点组成的向量。Vec1. GetAngBtween (vec2 false) = = I表示向量I与向量2组成的夹角的余旋值为I,即两向量相等，Vec1. GetVecModilus O==O表示向量I的模为O,即两点重合；修改追踪半径的公式为运动变化小时，修改追踪半径公式如下全文摘要本专利技术公开了一种本专利技术提出的自适应逐帧数据追踪算法，将捕捉的运动数据分成了两类，一类是运动变化小且缺失非严重，另一类为运动变化大或缺失严重，根据不同类别的运动数据设置不同的追踪半径，以此最大限度的追踪有效数据，获得脸部运动变化的细节信息，且该过程中数据追踪与修复同步进行，是逐帧操作的，可以在追踪完当前帧后，为下一帧的精确追踪做好准备。该算法可以实时地检测出错误追踪并及时的修改追踪半径。因为本专利技术提出的自适应动态追踪是逐帧进行的，这样在及时发现错误追踪的时候可以以较小的代价修正，为下一帧数据的追踪效果作好了基础，得到了更精确的追踪数据。文档编号G06T7/20GK102609952SQ20111038541公开日2012年7月25日 申请日期2011年11月28日 优先权日2011年11月28日专利技术者张强, 梁小英本文档来自技高网...

【技术保护点】

【技术特征摘要】

【专利技术属性】
技术研发人员：张强，梁小英，魏小鹏，
申请(专利权)人：大连大学，
类型：发明
国别省市：