一种基于光照先验的单张图像人脸三维重建方法技术

本发明专利技术公开一种基于光照先验的单张图像人脸三维重建方法，属于计算机视觉领域。本发明专利技术解决的问题是：针对目前三维人脸重建技术缺失几何细节，且需要有较为严格的拍摄条件的情况，提出了一种基于光照先验的单张图像人脸三维重建方法。本发明专利技术的核心部分在于充分利用参数化人脸模型和环境光照等先验信息，首先以图像的人脸关键点驱动参数化三维人脸模型变形，得到粗略的三维人脸模型，再结合本征图像性质对人脸光照和纹理进行估计，最后利用图像光影优化人脸模型的几何细节，从而得到具有几何细节的三维人脸模型。本发明专利技术的算法输入为无约束的单张人脸图片，最终的输出结果为三维人脸模型。本发明专利技术的算法结果可运用于三维人脸建模，动画表情迁移和人脸图像重光照渲染等应用课题。

【技术实现步骤摘要】
一种基于光照先验的单张图像人脸三维重建方法
本专利技术属于计算机视觉领域，提出了一种基于光照先验，利用单张人脸图片重建三维人脸模型的算法。
技术介绍
人脸三维重建在计算机视觉领域有着十分广泛的应用，比如辅助人脸识别、人脸表情识别和三维面部表情动画制作等。虽然通过三维扫描设备或者多张图像可以重建出三维人脸模型，但是这一方法严重依赖于受控的条件，成本较高且不够便捷。近年来也出现了从单张图像直接恢复三维人脸的方法，然而其结果往往缺乏良好的几何细节。理论上，图像是由物体的几何结构、材质纹理、环境光照等诸多要素相互作用生成的，因此从单张图像出发反推这些构成要素是一个难以解决的病态问题，所以从单张图像恢复三维人脸依旧是一个极具挑战性的课题。目前的单张图像人脸三维重建方法主要有两个较大的方向。其一是使用参数化三维人脸模型，利用包括特征点匹配等在内的方式，估计可形变模型的参数。这类方法虽然较为便捷，但却受限于参数化模型的低维度表示空间，其重建的结果只能表现整体的脸型，缺乏高频的几何细节。另一个方向则是利用图像像素间的强度变化情况，对人脸的几何细节部分进行优化。这一类方法在已知人脸大体形态、人脸纹理和光照等信息的情况下可以有效地恢复出精细的三维人脸模型，然而上述已知信息的获取本身也是十分困难的。为了解决目前现有方法存在的弊端，本专利技术提出了一种基于光照先验的单张图像人脸三维重建方法。本方法结合了现有两类方法的优势，通过引入光照先验信息，使问题的求解变得更为鲁棒。具体而言，首先使用参数化模型得到粗略的整体三维人脸，再结合本征图像的性质和光照先验约束等估计环境的光照及人脸的纹理，最后利用上述步骤得到的诸多信息，结合输入图像本身的像素间强度变化，优化三维人脸模型的几何细节，从而得到具有几何细节的三维人脸模型。
技术实现思路
本专利技术的主要目的：针对目前三维人脸重建技术缺失几何细节，且需要有较为严格的拍摄条件的情况，提出了一种基于光照先验的单张图像人脸三维重建方法。只需要提供单张人脸照片，不需要严苛的拍摄条件，即可生成出具有几何细节的三维人脸模型，为各种相关场景应用提供逼真的三维人脸效果。针对上述目的，本专利技术提供了使用光照先验的人脸三维建模的算法与系统，能够快速准确地得到模型结果，包括如下步骤：步骤1：通过检测二维人脸特征点，使用基于数据驱动的3DMM模型进行初始人脸外形的求解；步骤2：根据光照先验及人脸肤色模型，结合上一步得到的初始模型，估计出光照和纹理信息；步骤3：利用图像的光影变化信息，在三维模型上进行细节的形变，得到精细的三维人脸模型。进一步地，所述步骤1具体为：首先引入三维可形变模型(3DMM)，表示为X＝μ+Ushapeα+Uexpβ。记该模型有p个点，X是将p个点的三维坐标按顺序堆叠而成的大小为3p的向量，X表征三维模型的几何形态。μ为平均脸模型坐标向量，结构与X相同。Ushape是整体脸型主元矩阵，大小为3p×199，Uexp为人脸表情主元矩阵，大小为3p×29；α，β分别为相应的整体脸型和人脸表情参数，它们分别是199维和29维的向量。α，β中的每一维变量各自符合特定的高斯分布：通过调整α和β参数，可以产生不同形态的三维人脸模型。本步骤的主要任务即是α和β参数的求解。求解过程具体为：利用人脸关键点检测技术，得到图像中人脸的二维特征点坐标W＝(w1，w2，...，wn)，n的取值为特征点个数。W中每一个wi表示图片上第i个特征点的二维坐标。在3DMM中存在与二维特征点W逐一对应的模型点索引C＝(c1，c2，...，cn)，每一个ci表示第i个二维特征点wi对应于三维特征点在X中的索引。三维模型特征点与二维图像特征点存在弱透视投影关系：其中标量s为缩放因子，R为旋转矩阵的前两维，大小为3×2，而T为平移量，大小为2×1。通过二维与三维点的对应关系，通过利用下面的能量函数来最小化wi与之间的偏差，以估计投影参数：这一约束将投影误差降低到最小，初始时X＝μ，迭代时X为上一轮的求解结果。求解投影参数后，可以固定投影关系，运用下式求解3DMM的整体脸型和表情参数，即α和β。其中λ1，λ2为标量，分别为人脸整体脸型参数α和人脸表情参数β的先验高斯分布约束的加权系数，这一能量函数添加了未知量的先验分布约束，剩余部分与上一步基本一致，只是求解目标变量不同。二维的人脸特征点在实际分布上，五官定位点是比较准确的，但轮廓点则存在一些不足，轮廓点没有明显的定位条件，在发生自遮挡和俯仰角变化的情况下，轮廓点通常是不准确。为了使求解的结果能够更加精确，需要对这些点进行更新，以得到更加准确的损失函数。对于未遮挡的轮廓二维特征点wi，它们对应的模型特征点投影后的坐标并不能准确落在wi上，而是落到轮廓二维特征点组成的一条线上。为了保证约束的正确性，需要对轮廓二维特征点的坐标进行调整。上述公式中为距离投影后特征点最近的两个检测到的轮廓二维特征点，该公式表示由轮廓三维特征点投影后的位置向附近二维特征点形成的曲线作垂线，并用垂足坐标w′i更新检测到的二维特征点wi。类似于未遮挡轮廓点更新中的方式，发生自遮挡时不再落到轮廓二维特征点组成的一条线上，所以此时这个约束不再适用。此时轮廓二维特征点实际上落在由视角决定的观测边缘线，而这些二维特征点对应的三维模型特征点索引可以用下面的方法重新找到。首先根据先前求解的投影参数s，R，T将模型渲染为二值图像，并记录Tri，j为图像的(i，j)像素点对应的三角形面片索引；通过腐蚀做差取得视角轮廓的像素点分布，根据Tr取得上述像素点所对应的三角面片索引，从而得到这些三角形面片所包含的三维模型点索引Ce在X上的对应点投影至二维后可得到此时We与Ce作为对应点有着与未遮挡轮廓点相同的问题，同样的，利用未遮挡轮廓点的更新方式，将We更新为We′。最终将Ce与We′作为附加的对应关系加入3DMM参数的求解中。以上步骤1包括了投影参数求解，3DMM参数求解和特征点更新。经过数次迭代求解，本步骤将收敛得到与图像中人脸外形接近的结果。进一步地，所述步骤2表现为：将二维人脸图像反投影至步骤1求解得到的三维模型上，使得三维点对应有RGB颜色值，引入人脸光照先验信息和3DMM人脸肤色模型，结合本征图像的性质，迭代求解人脸光照环境和人脸肤色。具体而言，通过深度缓冲检测获取步骤1所得三维模型与二维人脸图像的映射关系，记录可见三维点在模型上的索引，形成可见点索引集合对模型可见区域的三维点赋予二维图像上对应像素点集插值而得的RGB值，三维模型上的颜色值按3DMM的组织形式堆叠，记为I。本步骤将结合人脸光照先验和人脸纹理参数模型，在三维空间中对可见三维点集的颜色值进行本征图像分解，估计出二维图像中人脸所处的光照环境及人脸肤色。人脸纹理参数模型在结构上与三维可形变模型一致，表示为A＝μtex+Utexδ。其中A为人脸纹理向量，是将每个点RGB值堆叠而成的大小为3p×1的向量，Utex是人脸纹理主元，大小为3p×199，μ本文档来自技高网...

【技术保护点】
1.一种基于光照先验的单张图像人脸三维重建方法及系统，其特征在于，包括如下步骤：/n步骤1：通过检测二维人脸特征点，使用基于数据驱动的3DMM模型进行初始人脸外形的求解；/n步骤2：根据光照先验及人脸肤色模型，结合上一步得到的初始模型，估计出光照和纹理信息；/n步骤3：利用图像的光影变化信息，在三维模型上进行细节的形变，得到精细的三维人脸模型。/n

【技术特征摘要】
1.一种基于光照先验的单张图像人脸三维重建方法及系统，其特征在于，包括如下步骤：
步骤1：通过检测二维人脸特征点，使用基于数据驱动的3DMM模型进行初始人脸外形的求解；
步骤2：根据光照先验及人脸肤色模型，结合上一步得到的初始模型，估计出光照和纹理信息；
步骤3：利用图像的光影变化信息，在三维模型上进行细节的形变，得到精细的三维人脸模型。


2.权利要求1所述方法的步骤1的特征在于，输入无约束的单张人脸图像，通过3DMM生成初始人脸模型后，针对未遮挡轮廓点与自遮挡轮廓点提出适用于两种不同情况的对应关系修复方式。针对未遮挡轮廓点直接利用投影关系：投影后作垂线：获得更新的对应二维特征点坐标；针对自遮挡轮廓点，根据先前求解的投影参数将模型渲染为二值图像，通过边缘检测，提取视角轮廓像素点对应的三角面片索引，从而得到自遮挡轮廓三维模型点索引将X中Ce对应点投影至二维后得到利用未遮挡轮廓点中作垂线的更新方式将We更新为We′，最终将Ce与We′作为新的对应关系加入3DMM参数的求解中。在此之后重新迭代求解投影姿态与3DMM参数，直到收敛得到初始化人脸模型。


3.权利要求1所述方法的步骤2的特征在于，根据步骤1得到的三维模型，结合3DMM人脸纹理模型及人脸光照先验模型，在三维空间中迭代求解模型纹理与光照信息...

【专利技术属性】
技术研发人员：于耀，邱炜彬，刘鹏，
申请(专利权)人：南京大学，
类型：发明
国别省市：江苏;32