本发明专利技术公开了一种基于张量分解与Delaunay三角划分的多视角人脸合成方法，主要解决现有技术中，连续视角变化的人脸图像难以合成的问题，其合成方案是：利用特征点标注的方法提取出人脸图像的轮廓信息；采用张量分解的方法分离出训练集中人脸数据的视角系数矩阵；对视角系数矩阵进行样条拟合；利用张量分解公式构建新视角的特征点；应用Delaunay三角划分以及线性仿射变换根据已知人脸图像合成出新视角的人脸图像。本发明专利技术具有人脸合成结果逼真、合成视角范围广及运算复杂度低的优点，可用于计算机视觉领域或多媒体技术中不同视角下的人脸合成。
【技术实现步骤摘要】
本专利技术属于图像处理
，特别涉及多视角人脸合成方法，可用于图像恢复与重建领域中不同视角下人脸图像的合成。
技术介绍
随着IT科技的飞速发展，基于人脸的身份认证将成为当代最主要的生物特征识别技术之一。由美国国防部高级研究项目署DARPA和美国陆军研究实验室ARL联合进行的人脸识别测试结果表明人脸识别率对姿态变化具有很强的敏感性。所以，多个视角下的人脸合成技术对获得可靠的身份认证是至关重要的。此外，合成连续变换视角下的人脸图像， 不仅对人脸空间建模具有重要意义而且在视频会议、人机接口、公共安全、影视娱乐等领域也取得了广泛的应用。但该项研究涉及到图像处理、模式识别、人工智能、计算机视觉、几何学、生理学、心理学、美术等多个交叉学科，因此，合成出逼真的人脸图像是一项非常重要又极具挑战性的课题。目前多视角人脸合成的研究成果主要集中为以下两类第一类是基于流形估计的多视角人脸合成技术。美国AT&T实验室的Saul等在文献"Roweis S. Τ. , Saul L. K. Nonlinear dimensionality reduction by locally linearembedding. Science, 290 (5500) :2323-2326,2000. ” 中最早提出了局部嵌入模型 (Locallylinear embedding, LLE)的思想，即如果高维空间中的一点可以由其临近的几个点的线性叠加来表示，那么在低维空间中这种邻近的叠加关系仍然被保持。基于上述思想， 美国 Kentucky 大学的 Huang 等人在文献"Xinyu Huang, Jizhou Gao, Sen-ching Cheung, Ruigang Yang. Manifold estimation in view-based feature space for face synthesis acrosspose. In :Asian Conference on Computer Vision，2009.，，巾，巾g入# 该身份下高维图像空间中的一点，为每个人的多视角人脸图像建立低维流形结构。在低维流形空间中，如果某个人特定视角下的低维数据点可由其他人在该视角下的数据点通过线性加权的方式重构出来，则该权值也同样适用于其他新视角下的数据点合成。将合成的新视角下的低维数据点映射到高维图像空间可实现新视角下的人脸图像合成。第二类是基于张量分解的多视角人脸合成技术。美国New ^rk大学的Alex等提出多因素条件下人脸的张量分解方法，将图像中的变化因素一一分离开来，进而从影响人脸成像因素的不同子空间对图像进行处理。韩国Olaworks公司研究员Hyung-koLee 等人在文献"Tensor-based AAM with continuous variation estimation !Application tovariation-robust face recognition, IEEE Trans.On Pattern Analysis and Machinelntelligence，31(6) :1102-1116,2009. ”中，将张量理论用于人脸图像的合成及识别，对训练图像首先用主动外观模型AAM将人脸的形状与纹理信息分离，在形状和纹理数据上分别采用张量分解，得到诸如身份、视角、光照和表情的多种因素子空间，利用线性合成的方法，在各自的空间中得到新的视角、光照和表情系数，然后通过核张量将这些新系数映射到图像空间，以实现人脸合成。实验结果表明，文中所述方法在光照变化和带眼镜等饰物的条件下有较好的合成效果，但只能合成出接近正面的有限人脸视角，而且训练阶段所需的样本数量也比较大。由于上述两类方法都未对人脸视角因素的非线性变化进行精确描述，所以第一种方法只能合成出有限视角下的人脸图像，且由于受多个训练图像身份的影响，合成的图像与真实图像的差异较大；第二类种方法虽然在光照、表情变化情况下能得到较好的合成效果，但由于人脸多视角的非线性变化较强，合成结果还只是接近于正面人脸的有限视角下的图像。
技术实现思路
本专利技术的目的在于克服上述已有技术的不足，提出了一种基于张量分解与 Delaimay三角划分的多视角人脸合成方法，以在构建人脸视角信息非线性变换模型的同时，实现对0° 90°连续变化的各视角人脸图像的合成。为实现上述目的，本专利技术的下技术方案包括如下步骤(1)取180 240幅不同身份、不同视角的人脸图像作为训练集G，对训练集中的每幅人脸图像，根据脸轮廓、眉毛、眼睛、鼻子和嘴的位置，将特征点标注在各区域的轮廓线上；(2)将训练集中图像特征点数据沿视角、身份和坐标信息变化的方向排列成张量数据，并用高阶奇异值分解算法对其进行分解，得到身份系数矩阵Uidmtity、视角系数矩阵 Uview、轮廓系数矩阵Upoint和核张量Z，该三个矩阵之间相互独立，Z表示这三个矩阵之间的相互作用关系；(3)对视角系数矩阵Uvirat中的不同的视角系数进行样条拟合，获得一个连续的人脸形状视角流形V;(4)给定一幅未在训练集G中出现过的图像作为测试图像g，标注测试图像的特征点，通过最小化测试图像与训练图像能量差的方式确定该测试图像g的输入视角利用最小二乘或稀疏表示的方法，求出训练集中输入视角I1下所有图像特征点集合对测试图像特征点的重构系数c，将该系数c与训练集的身份系数矩阵Uidmtity加权求和，得到测试图像的身份系数矩阵Uidmtity mw ；(5)根据步骤(2)中得到的轮廓系数矩阵Up。int、核张量Z和步骤(3)中得到的视角流形V，利用张量分解公式，求出测试图像g在新视角下的特征点矩阵I1 =Z X iV (1) X 2仏 dent ity—new X sUpoint其中，V(I)是人脸形状视角流形V上的第1个点，表示新视角下测试图像特征点的视角系数矩阵，Xd(d= 1,2,3)表示张量的模-d乘法，ZX1V(I)表示3维矩阵Z以第1 维为行向量，第2、3维为列向量进行变形，并右乘矩阵V(I) ；ZX2Uidmtity mw表示Z以第2维为行向量，第1、3维为列向量进行变形，并右乘矩阵Uidmtity _ ；ZX3Upoint表示Z以第3维为行向量，第1、2维为列向量进行变形，并右乘矩阵Upoint ；(6)由测试图像新合成视角下的特征点矩阵I1，根据测试图像在输入视角下的灰度图像及其对应的特征点矩阵，利用Delaimay三角划分求出测试图像输入视角特征点的邻接关系，构建覆盖人脸的三角面片区域，根据已经确定的邻接关系，构建测试图像新合成视角下覆盖人脸的三角面片区域，应用线性仿射变换，计算出测试图像新合成视角下各三角面片内部所有像素点的灰度，从而合成出测试图像在新合成视角下的人脸图像。本专利技术与现有技术相比具有如下优点1.本专利技术由于将高维人脸数据的身份信息用独立的线性系数来表示，能更准确的表达身份信息；2.本专利技术由于在人脸的形状分量上采用张量分解的方法合成新视角人脸的特征点，而非直接对高维人脸图像进行合成，从而有效地避免了人脸图像的欠采样问题和人脸纹理信息对精确视角描述的影响，使所合成的多视角人脸特征点的位置更精确；3.本专利技术由于本文档来自技高网...
【技术保护点】
１．一种基于张量分解与Ｄｅｌａｕｎａｙ三角划分的多视角人脸合成方法，包括如下过程：（１）取１８０～２４０幅不同身份、不同视角的人脸图像作为训练集Ｇ，对训练集中的每幅人脸图像，根据脸轮廓、眉毛、眼睛、鼻子和嘴的位置，将特征点标注在各区域的轮廓线上；（２）将训练集中图像特征点数据沿视角、身份和坐标信息变化的方向排列成张量数据，并用高阶奇异值分解算法对其进行分解，得到身份系数矩阵Ｕｉｄｅｎｔｉｔｙ、视角系数矩阵Ｕｖｉｅｗ、轮廓系数矩阵Ｕｐｏｉｎｔ和核张量Ｚ，该三个矩阵之间相互独立，Ｚ表示这三个矩阵之间的相互作用关系；（３）对视角系数矩阵Ｕｖｉｅｗ中的不同的视角系数进行样条拟合，获得一个连续的人脸形状视角流形Ｖ；（４）给定一幅未在训练集Ｇ中出现过的图像作为测试图像ｇ，标注测试图像的特征点，通过最小化测试图像与训练图像能量差的方式确定该测试图像ｇ的输入视角ｉ１，利用最小二乘或稀疏表示的方法，求出训练集中输入视角ｉ１下所有图像特征点集合对测试图像特征点的重构系数ｃ，将该系数ｃ与训练集的身份系数矩阵Ｕｉｄｅｎｔｉｔｙ加权求和，得到测试图像的身份系数矩阵Ｕｉｄｅｎｔｉｔｙ＿ｎｅｗ；（５）根据步骤（２）中得到的轮廓系数矩阵Ｕｐｏｉｎｔ、核张量Ｚ和步骤（３）中得到的视角流形Ｖ，利用张量分解公式，求出测试图像ｇ在新视角下的特征点矩阵Ｉｌ＝Ｚ×１Ｖ（ｌ）×２Ｕｉｄｅｎｔｉｔｙ＿ｎｅｗ×３Ｕｐｏｉｎｔ，其中，Ｖ（ｌ）是人脸形状视角流形Ｖ上的第ｌ个点，表示新视角下测试图像特征点的视角系数矩阵，×ｄ（ｄ＝１，２，３）表示张量的模－ｄ乘法，Ｚ×１Ｖ（ｌ）表示３维矩阵Ｚ以第１维为行向量，第２、３维为列向量进行变形，并右乘矩阵Ｖ（ｌ）；Ｚ×２Ｕｉｄｅｎｔｉｔｙ＿ｎｅｗ表示Ｚ以第２维为行向量，第１、３维为列向量进行变形，并右乘矩阵Ｕｉｄｅｎｔｉｔｙ＿ｎｅｗ；Ｚ×３Ｕｐｏｉｎｔ表示Ｚ以第３维为行向量，第１、２维为列向量进行变形，并右乘矩阵Ｕｐｏｉｎｔ；（６）由测试图像新合成视角下的特征点矩阵Ｉｌ，根据测试图像在输入视角下的灰度图像及其对应的特征点矩阵，利用Ｄｅｌａｕｎａｙ三角划分求出测试图像输入视角特征点的邻接关系，构建覆盖人脸的三角面片区域，根据已经确定的邻接关系，构建测试图像新合成视角下覆盖人脸的三角面片区域，应用线性仿射变换，计算出测试图像新合成视角下各三角面片内部所有像素点的灰度，从而合成出测试图像在新合成视角下的人脸图像。...
【技术特征摘要】
【专利技术属性】
技术研发人员：高新波，田春娜，袁博，赵林，李洁，杨曦，李英，王华青，
申请(专利权)人：西安电子科技大学，
类型：发明
国别省市：87
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。