由一幅正面图像实现快速人脸模型重建的方法技术

一种图像处理技术领域的由一幅正面图像实现快速人脸模型重建的方法。步骤为：（１）取点，保存。取点包括平均模型上的三维点、在二维图像上取对应的特征点，三维标记点的特征和数目必须与目标图像的标记点一致；（２）将二维图像特征点转化为三维特征点；（３）用薄板样条插值算法进行弹性变形。所有的二维点均用三维点代替，相应的函数均修改成三维坐标的变量，直接求取新的坐标；（４）粘贴纹理；（５）纹理插值。插值包含两部分，即由于正面纹理信息不够而需要的插值，及侧面缺少信息而需要插值。本发明专利技术只用一个平均模型和一幅目标二维图像，快速生成对应的三维人脸模型，具有实时快速、方便简单、无需大量人脸库等多方面优点。

【技术实现步骤摘要】

本专利技术涉及一种图像处理
的方法，具体是一种。
技术介绍
图像作为一种十分重要的媒体和手段越来越受到人们的重视，图像已成为工程学、计算机科学、信息科学、统计学、物理学、化学、生物学、医学甚至社会科学等领域各学科之间学习和研究的对象。三维图形是计算机图形学中比较重要的分支。而将二维图像和三维模型结合起来也是最近研究的热点，同时也是人脸识别中的难点所在。若由二维图像获得对应的三维模型，这将会对人脸识别大有作用。因为现有人脸识别的几大难题，如姿态、光照、表情(PIE)在二维图像中几乎很难解决，而在三维中就可以获得很多的信息量。另外，加上不同的光照，动画生成表情，姿态的旋转等都可以容易在三维中得到实现。因此，有必要也迫切需要由二维图像实现人脸模型重建的专利技术方法。经对现有技术的文献检索发现，Volker Blanz等人在《IEEE transaction onPattern Recognition and Machine Intelligence》Vol.25，No.9，September2003，1063-1074(IEEE模式识别与机器智能，第25卷，第9期，2003年九月版，1063-1074页)上，使用一种可变形的模型，经过多重优化得到最终匹配的人脸模型。该方法用了200个扫描获得的三维人脸模型，通过线性组合。结合旋转角度、光照等22个参数，经过迭代优化算法，最终获得目标模型。这样的匹配是一个相当复杂的过程，在奔42G的机器上需耗时四分半钟。检索中还发现，江大龙等人在《Pattern Recognition》Vol.38，Issue 6，June 2005，787-798(IEEE模式识别与机器智能，第38卷，第6期，2005年六月版，787-798页)上，用了几何重建的方法。他们首先在二维正面人脸图像上标好特征点，计算二维形状特征值，代换到三维的线性组合中，从而得到三维模型的形状值。最后抽取纹理信息补到三维模型上。这样的方法也用到了多个人脸库，包括二维图像库和三维人脸模型库，因此计算速度也不是很快。
技术实现思路
本专利技术的目的在于针对现有技术的不足，提出，不需要多个三维模型和多幅二维图像，而是只用一个平均模型和一幅目标二维图像，快速生成对应的三维人脸模型。实验证明，本专利技术具有实时快速、方便简单、无需大量人脸库等多方面优点。本专利技术是通过以下技术方案实现的用标定好模型上的标记点和由目标二维图像的特征点对应的三维标记点，采用基于改进的薄板样条(Thin-plateSpline)弹性插值算法，对模型每一个坐标进行计算，得到新的模型的三维坐标点；同时粘贴原始图像的纹理，得到粗略的模型；最后通过插值算法将侧面的纹理信息补全，最终获得目标三维模型。本专利技术具体包括以下步骤(1)取点，保存。这里的取点包括两种取点一是平均模型上的三维点，这个可以很容易得到；二是在二维图像上取对应的特征点。一般人脸图像的特征点有眼睛，鼻子，嘴巴，脸轮廓等。三维标记点的特征和数目必须与目标图像的标记点一致；(2)将二维图像特征点转化为三维特征点。将x、y方向上的特征点进行比例缩放，从而得到二维图像的“三维”特征点的x、y坐标；再将x、y的比例求其平均缩放对应三维标记点的深度信息作为新的特征点的深度。(3)用薄板样条插值算法进行弹性变形。对此，薄板样条函数作如下改进所有的二维点均用三维点代替，相应的距离函数、双调和函数、求取新的坐标点的函数均修改成三维坐标的变量，直接求取新的坐标，此时变形完成，获得基本的形状模型；(4)粘贴纹理。这里可将对应的纹理信息按比例放置于模型上，中间不够的信息可以采用插值的方法得到；而若模型不需要很多纹理信息，则可以对应位置上先求取平均再粘贴到模型制定位置上；(5)纹理插值。这里的插值包含两部分，一部分是由于正面纹理信息不够而需要的插值，一部分是侧面缺少信息而需要插值。对于由于正面纹理信息不够而需要的插值，可以设置适当的球体，计算球体内的纹理平均信息直接填补。对于由于侧面缺少信息而需要插值，可以采用加权的RGB信息来得到。取得框好边界的立体块，其中包含了侧面的纹理空缺点，同时也包含足够的纹理信息。对于任意一个位置纹理信息的点，将体积块以此点为中心分成若干扇形小块(n)，沿着分成的方向取已有的纹理信息，再经距离加权，可以获得比较准确的纹理。公式如下Tint erp=Σi=1nλiTΣi=1nλi]]>式中，λi为纹理点到待插值点距离的倒数，T为已有的纹理信息。此方法获得的插值信息，可用于实时场合，快速细致。本专利技术不需要多个三维模型和多幅二维图像，而是只用一个平均模型和一幅目标二维图像，快速生成对应的三维人脸模型，具有实时快速、方便简单、无需大量人脸库等多方面优点。附图说明图1为本专利技术方法框图具体实施方式如图1所示，，需要四个步骤1.取点，保存这里的取点包括两种取点一是平均模型上的三维点，这个利用openGL的相关知识可以很容易得到；二是在二维图像上取对应的特征点，也不是问题。要说明的是，一般人脸图像的特征点有眼睛，鼻子，嘴巴，脸轮廓等，并且三维标记点的特征和数目必须与二维目标图像的标记点一致；2.将二维图像特征点转化为三维特征点将x、y方向上的特征点进行比例缩放，从而得到二维图像的“三维”特征点的x、y坐标；再将x、y的比例求其平均缩放对应三维标记点的深度信息作为新的特征点的深度。缩放时，可以将平均三维模型的标记点影射得到对应的屏幕坐标，对应的原点也得到了一个基准点；再在二维图像上取相同特征的二维坐标，通过比例关系，计算得到新的“三维”特征点。计算公式如下 Xnew=Xland*Xfea-Xnorm1Xland′-Xnorm2,Ynew=Yland*Yfea-Ynorm1Yland′-Ynorm2,]]>Znew=Zland*(Xfea-Xnorm1Xland′-Xnorm2+Yfea-Ynorm1Yland′-Ynorm2)/2]]>其中，Inew为转换后的三维坐标，Iland指先前取得的三维标记点坐标，Ifea是先前取得的二维特征点坐标，Inorm1为按要求取的对应的二维基准点坐标，Iland′指影射得到的屏幕二维坐标，Inorm2是三维原点影射得到的屏幕坐标。I＝X，Y，Z。3.用薄板样条插值算法进行弹性变形一般的弹性变形算法涉及以下三个方面1)在参考图像和待配准图像中选择控制点并且决定它们的对应关系；2)通过已知的坐标和控制点决定映射函数的类型和参数；3)用映射函数对待配准图像进行几何变换。这里，本专利技术选择既有全局变形，也有局部变形的薄板样条插值算法。该算法描述如下薄板样条是用于对分散点数据集插值得到曲面的工具，是弹性插值，它将插值问题模拟为一个薄金属板在点约束下的弯曲变形，用简练的代数式表示变形的能量。薄板样条是这样得到的。薄板样条的基函数为U(r)＝r2logr2其中，r=x2+y2]]>可以看作是一维三次样条函数|x3|自然扩展到二维的结果。假设有一个二维点集，(x1，y1)，(x2，y2)，…，(x本文档来自技高网...

【技术保护点】
一种由一幅正面图像实现快速人脸模型重建的方法，其特征在于，包括以下步骤：（１）取点，保存：包括两种取点，即平均模型上的三维点以及在二维图像上取对应的特征点，三维标记点的特征和数目必须与目标图像的标记点一致；（２）将二维图像特 征点转化为三维特征点；（３）用薄板样条插值算法进行弹性变形：薄板样条函数作如下改进：所有的二维点均用三维点代替，相应的距离函数、双调和函数、求取新的坐标点的函数均修改成三维坐标的变量，直接求取新的坐标，此时变形完成，获得基本的形状模 型；（４）粘贴纹理：将对应的纹理信息按比例放置于模型上，中间不够的信息采用插值的方法得到；（５）纹理插值：插值包含两部分，一部分是由于正面纹理信息不够而需要的插值，一部分是侧面缺少信息而需要插值，对于由于正面纹理信息不够而需 要的插值，设置球体，计算球体内的纹理平均信息直接填补，对于由于侧面缺少信息而需要插值，采用加权的纹理信息来得到。

【技术特征摘要】

【专利技术属性】
技术研发人员：陈鲁，杨杰，杜春华，
申请(专利权)人：上海交通大学，
类型：发明
国别省市：31[中国|上海]