一种基于模板人脸逼近的不规范三维人脸网格纹理方法技术

本发明专利技术公开了一种基于模板人脸逼近的不规范三维人脸网格纹理方法，包括以下步骤：建立模板三维人脸网格到模板纹理图像点之间的纹理映射关系；将模板三维人脸网格与不规范三维人脸网格进行初步对齐；构建对齐后的模板三维人脸网格和不规范三维人脸网格之间的误差能量函数，并优化所述误差能量函数，使得模板三维人脸网格逼近不规范三维人脸网格，最终得到规范三维人脸网格；根据上述的纹理映射关系，实现生成的规范三维人脸网格与模板纹理图像的纹理映射，从而生成规范的带纹理的三维人脸模型。本发明专利技术的规范三维人脸网格通过模板参数化纹理坐标实现与模板纹理图像的纹理映射，具有规范输入三维人脸网格拓扑和顶点数目、低成本的优势。

【技术实现步骤摘要】
一种基于模板人脸逼近的不规范三维人脸网格纹理方法
本专利技术涉及人脸数据计算机处理
，尤其涉及一种基于模板人脸逼近的不规范三维人脸网格纹理方法。
技术介绍
带纹理的三维人脸模型广泛应用于个性化消费、影视广告、游戏娱乐、可视化实时通讯、整容手术预演、新一代人机交互等诸多领域。另外，纹理映射是建立三维物体表面和二维图像空间像素坐标对应的过程。因为具有消耗较少硬件计算资源和渲染较方便的特点，所以纹理映射是增强三维人脸网格真实感的有效方法。但在很多应用当中，通过一些方式构建的三维人脸网格普遍存在拓扑不规范或顶点数目较大的问题，使得手动建立这种三维人脸网格纹理映射的过程花费大量人力和时间成本。同时，这种三维人脸网格较难在计算能力较差的终端平台(如智能手机等)进行流畅渲染。因此，一种能自动化地建立不规范三维人脸网格纹理映射并能优化网格拓扑和顶点数目的方法具有较大的应用价值。在三维人脸网格的纹理映射算法中，经过对现有技术的文献检索发现，Blanz等人(BlanzV,VetterT.Amorphablemodelforthesynthesisof3Dfaces[C]//Proceedingsofthe26thannualconferenceonComputergraphicsandinteractivetechniques.ACMPress/Addison-WesleyPublishingCo.,1999:187-194.)提出可形变模型(3DMorphableModel，3DMM)进行三维人脸的重建和纹理映射的方法，通过透视投影和特定光照算法将可形变模型渲染成二维人脸图像，通过优化该二维图像和输入图像的像素平方误差，得到可形变模型的纹理图像的组合权值。但该方法所需的可形变模型依赖于大型三维人脸数据库统计分析，而特定人脸数据库构建、维护和模型训练需要耗费大量人力财力，并且由于受限于数据库的参数空间，人脸重建结果适用范围有限。比如，使用欧洲人的人脸数据库训练出的人脸预测模型，很难重建出较好的亚洲人脸。张剑等(张剑.融合SFM和动态纹理映射的视频流三维表情重建[J].计算机辅助设计与图形学学报,2010,22(6):000949-958.)提出一种融合SFM和动态纹理映射的方法，将跟踪得到的每帧二维特征点位置坐标看作是三维人脸模型上预定义的一组特征顶点的纹理坐标，从而通过插值自动将从原始视频中提取出的人脸纹理信息逐帧映射至与每一视频帧对应的重建出的人脸模型，可从单目摄像头拍摄的原始人脸视频生成逼真的三维人脸表情动画。但该方法是基于机器视觉的原理重建的，由于缺少人脸的先验知识，故重建模型的真实感有待进一步提高。Newcombe等人的方法(NewcombeRA,IzadiS,HilligesO,etal.KinectFusion:Real-timedensesurfacemappingandtracking[C]//Mixedandaugmentedreality(ISMAR),201110thIEEEinternationalsymposiumon.IEEE,2011:127-136.)可使用深度相机Kinect对真实人体进行三维扫描和重建，最终得到带纹理信息的三维人体，但该方法重建的模型网格拓扑较复杂且顶点数量也较大，需经过较长时间人工修复才能应用于工程项目；并且类似使用三维扫描仪的方法均存在该问题。
技术实现思路
针对现有技术存在的不足，本专利技术目的是提供一种基于模板人脸逼近的不规范三维人脸网格纹理方法，本专利技术通过预先构建一个带参数化纹理坐标和纹理图像的模板三维人脸，并且针对不同输入的不规范三维人脸网格，均用该模板人脸进行算法计算，从而使本专利技术成本低，另外本专利技术具有规范输入三维人脸网格拓扑和顶点数目的优势。为了实现上述目的，本专利技术是通过如下的技术方案来实现：本专利技术的一种基于模板人脸逼近的不规范三维人脸网格纹理方法，包括以下步骤：1)构建一个包含模板三维人脸网格、模板参数化纹理坐标、模板纹理图像的模板三维人脸网格，并建立所述模板三维人脸网格到模板纹理图像点之间的纹理映射关系；2)将所述模板三维人脸网格与不规范三维人脸网格进行初步对齐；3)构建对齐后的所述模板三维人脸网格和不规范三维人脸网格之间的误差能量函数，并通过梯度下降法和最小二乘法来优化所述误差能量函数，使得所述模板三维人脸网格逼近不规范三维人脸网格，最终得到规范三维人脸网格；4)根据步骤1)的纹理映射关系，实现步骤3)中生成的规范三维人脸网格与模板纹理图像的纹理映射，从而生成规范的带纹理的三维人脸模型。步骤1)中，所述纹理映射关系的建立方法如下：第一步，使用三维建模软件手动构建一个带有五官特征的模板三维人脸网格；第二步，通过柱面投影方式，将模板三维人脸网格投影到二维平面区域[0,1]2即纹理空间，并得到二维模板参数化纹理坐标，其中网格和参数化纹理坐标点存在一一映射关系，一一映射关系可由下式得到：f(pi)＝qi其中，pi是模板三维人脸网格上的顶点，qi是模板参数化纹理坐标点；第三步，根据模板参数化纹理坐标点的位置分布，使用二维图像处理软件手动构建一张模板纹理图像，其中模板参数化坐标点和模板纹理图像点存在一一映射关系，一一映射关系可由下式得到：g(qi)＝pixeli其中，pixeli是模板纹理图像的像素点；第四步，根据上述的f和g的函数传递关系，得到模板三维人脸网格顶点和模板纹理图像的纹理映射关系，则纹理映射关系为g[f(pi)]＝pixeli。步骤2)中，所述初步对齐的具体方法如下：第一步，分别对所述模板三维人脸网格和不规范三维人脸网格的顶点集合进行主成分分析，得到所述模板三维人脸网格的局部坐标系矩阵为M1，原点为O1，所述不规范三维人脸网格的局部坐标系矩阵为M2，原点为O2；第二步，计算M1到M2的过渡矩阵，即根据M2＝M1T，得到过渡矩阵T＝M1-1M2；第三步，将所述模板三维人脸网格的每一个顶点pi变换到不规范三维人脸网格的坐标系下，变换公式如下：pi←T·[pi+(O2-O1)]。步骤3)中，对齐后的所述模板三维人脸网格和不规范三维人脸网格之间的所述误差能量函数定义如下式：f(W,V)＝w1fdistance(V)+w2fsmooth(V)其中，V＝{p1,p2,...,pn},是模板三维人脸网格的顶点集合，{cpi|1≤i≤m}是不规范三维人脸网格的顶点集合，W＝(w1,w2)是权值系数，w1,，w2表示两约束项的权值，m表示不规范三维人脸网格的顶点数目，cpi表示不规范三维人脸网格的第i个顶点坐标，是距离约束项，用于衡量模板三维人脸网格与不规范三维人脸网格点云之间的误差，Proji(V)表示不规范三维人脸网格任意一个顶点到模板三维人脸网格的最近投影点；是平滑约束项，用于保证了模板三维人脸网格变形后的局部平滑性，di表示模板三维人脸网格顶点pi的度，pij表示模板三维人脸网格顶点pi一阶第j个邻域点。步骤3)中，采用所述梯度下降法和最小二乘法来优化误差能量函数的具体方法如下：第一步，初始化Wi＝W0，Vi＝V0；第二步，固定Wi，在Vi基础上构建最小二乘线性方程组A·Vi+1＝Bi+1，并求解得到Vi+1，即经过变形后的下一状态的模板三维人脸本文档来自技高网...

【技术保护点】
1.一种基于模板人脸逼近的不规范三维人脸网格纹理方法，其特征在于，包括以下步骤：1)构建一个包含模板三维人脸网格、模板参数化纹理坐标、模板纹理图像的模板三维人脸网格，并建立所述模板三维人脸网格到模板纹理图像点之间的纹理映射关系；2)将所述模板三维人脸网格与不规范三维人脸网格进行初步对齐；3)构建对齐后的所述模板三维人脸网格和不规范三维人脸网格之间的误差能量函数，并通过梯度下降法和最小二乘法来优化所述误差能量函数，使得所述模板三维人脸网格逼近不规范三维人脸网格，最终得到规范三维人脸网格；4)根据步骤1)的纹理映射关系，实现步骤3)中生成的规范三维人脸网格与模板纹理图像的纹理映射，从而生成规范的带纹理的三维人脸模型。

【技术特征摘要】
1.一种基于模板人脸逼近的不规范三维人脸网格纹理方法，其特征在于，包括以下步骤：1)构建一个包含模板三维人脸网格、模板参数化纹理坐标、模板纹理图像的模板三维人脸网格，并建立所述模板三维人脸网格到模板纹理图像点之间的纹理映射关系；2)将所述模板三维人脸网格与不规范三维人脸网格进行初步对齐；3)构建对齐后的所述模板三维人脸网格和不规范三维人脸网格之间的误差能量函数，并通过梯度下降法和最小二乘法来优化所述误差能量函数，使得所述模板三维人脸网格逼近不规范三维人脸网格，最终得到规范三维人脸网格；4)根据步骤1)的纹理映射关系，实现步骤3)中生成的规范三维人脸网格与模板纹理图像的纹理映射，从而生成规范的带纹理的三维人脸模型。2.如权利要求1所述的基于模板人脸逼近的不规范三维人脸网格纹理方法，其特征在于，步骤1)中，所述纹理映射关系的建立方法如下：第一步，使用三维建模软件手动构建一个带有五官特征的模板三维人脸网格；第二步，通过柱面投影方式，将模板三维人脸网格投影到二维平面区域[0,1]2即纹理空间，并得到二维模板参数化纹理坐标，其中网格和参数化纹理坐标点存在一一映射关系，一一映射关系可由下式得到：f(pi)＝qi其中，pi是模板三维人脸网格上的顶点，qi是模板参数化纹理坐标点；第三步，根据模板参数化纹理坐标点的位置分布，使用二维图像处理软件手动构建一张模板纹理图像，其中模板参数化坐标点和模板纹理图像点存在一一映射关系，一一映射关系可由下式得到：g(qi)＝pixeli其中，pixeli是模板纹理图像的像素点；第四步，根据上述的f和g的函数传递关系，得到模板三维人脸网格顶点和模板纹理图像的纹理映射关系，则纹理映射关系为g[f(pi)]＝pixeli。3.如权利要求2所述的基于模板人脸逼近的不规范三维人脸网格纹理方法，其特征在于，步骤2)中，所述初步对齐的具体方法如下：第一步，分别对所述模板三维人脸网格和不规范三维人脸网格的顶点集合进行主成分分析，得到所述模板三维人脸网格的局部坐标系矩阵为M1，原点为O1，所述不规范三维人脸网格的局部坐标系矩阵为M2，原点为O2；第二步，计算M1到M2的过渡矩阵，即根据M2＝M1T，得到过渡矩阵T＝M1-1M2；第三步，将所述模板三维人脸网格的每一个顶点pi变换到不规范三维人脸网格的坐标系下，变换公式如下：pi←T·[pi+(O2-O1)]。4.如权利要求1所述的基于模板人脸逼近的不规范三维人脸网格纹理方法，其特征在于，步骤3)中，对齐后的所述模板三维人脸网格和不规范三维人脸网格之间的所述误差能量函数定义如下式：f(W，V）＝w1fdistance(V)+w2fsmooth(V)其中，是模板三维人脸网格的顶点集合，{cpi|1≤i≤m}是不规范三维人脸网格的顶点集合，W＝(w1,w2)是权值系数，w1,，w2表示两约束项的权值，m表示不规范三维人脸网格的顶点数目，cpi表示不规范三维人脸网格的第...

【专利技术属性】
技术研发人员：童晶，陈正鸣，张洛声，王红兰，
申请(专利权)人：河海大学常州校区，
类型：发明
国别省市：江苏,32