基于单图像的自适应三维人脸重建方法技术

本发明专利技术属于计算机视觉和图形学领域，为提出一种鲁棒的通过单张图像实现自适应三维人脸模型的重建方法，从而准确地获取各个姿态下的人脸模型，本发明专利技术，基于单图像的自适应三维人脸重建方法，包括以下步骤：1)首先输入一张人脸图片；2)使用人脸关键点检测方法分别估计图片中人脸2D和3D关键点位置；3)作一个粗姿态估计；4)由步骤3)得到粗的姿态估计，将模型中的n个点投影在图像上，利用检测到的3D点替换被遮挡的2D轮廓点，再更新n个点估计一个优化后的姿态；5)由步骤4)根据所获得的姿态估计自适应地调整2D和3D关键点的权重；由步骤5)结合步骤4)得到的姿态参数拟合人脸模型。本发明专利技术主要应用于人脸模型重建场合。

【技术实现步骤摘要】
基于单图像的自适应三维人脸重建方法
本专利技术属于计算机视觉和图形学领域，具体涉及人脸关键点检测和三维模型重建方法。
技术介绍
在计算机视觉和计算机图形学中，三维人脸重建一直是一个具有挑战性的问题，虽然现有的基于多视角图像的方法已经取得了很好的效果，但对于单张输入图像来说，缺少人脸各个视角信息以致重建真实的三维人脸模型很有难度，目前大部分基于单图像重建的方法是基于良好的正面图像。然而在现实生活中，理想状态下的完全正面无遮挡的图像是很少的，常有头发或头部旋转等造成的遮挡，而人脸处于局部遮挡和极端姿态的情况下，想要重建接近真实的人脸模型仍然很棘手。近年来提出了不少深度学习的方法,Luan等人(LuanTranandXiaomingLiu,“Nonlinear3Dfacemorphablemodel,”inProceedingsoftheIEEEConferenceonComputerVisionandPatternRecognition,2018)提出非线性3DMM(3DMorphableModel)通过DNNs(深度神经网络)来学习Shape(形状)和Texture(纹理)，不需要3D扫描，就能更好的表达人脸信息，HongweiYi等人(HongweiYi,ChenLi,QiongCao,XiaoyongShen,ShengLi,GuopingWang,andYu-WingTai,“MMFace:Amulti-metricregressionnetworkforunconstrainedfacereconstruction,”inProceedingsoftheIEEEConferenceonComputerVisionandPatternRecognition,2019)提出了多度量回归网络用于无约束三维人脸重建，虽然能有效解决部分遮挡问题，但是深度学习方法本身依赖于良好的数据集作为训练，并且现实中的人脸图像和高精度模型对应的数据集也比较缺乏，对于测试的输入图像与数据集相差较大时往往不适用。为了有效解决遮挡问题，传统方法中Zhu等人(XiangyuZhu,ZhenLei,JunjieYan,DongYi,andStanZLi,“High-fidelityposeandexpressionnormalizationforfacerecognitioninthewild,”inProceedingsoftheIEEEConferenceonComputerVisionandPatternRecognition,2015)和Luo等人(JiangLuo,JuyongZhang,BailinDeng,HaoLi,andLigangLiu,“3Dfacereconstructionwithgeometrydetailsfromasingleimage,”IEEETransactionsonImageProcessing,2018)提出标记点游走方法来更新轮廓点，但是他们需要人工手动标记关键点，这是耗时又费力的。本专利技术采用一种基于3DMM的2D和3D联合优化方法，充分利用2D和3D关键点信息，可以从单个图像自适应地重建3D人脸模型，该方法不仅对姿态估计有有效提升，对于局部遮挡和极端姿态下的人脸也是鲁棒的，并且无需人工参与，此专利技术在人脸识别、人脸动画等领域有着广泛的应用前景。
技术实现思路
为克服现有技术的不足，本专利技术旨在提出一种鲁棒的通过单张图像实现自适应三维人脸模型的重建方法，从而准确地获取各个姿态下的人脸模型，为了达到上述目的，本专利技术采取的技术方案是基于单图像的自适应三维人脸重建方法，包括以下步骤：1)首先输入一张人脸图片；2)对于输入的图片，使用人脸关键点检测方法分别估计图片中人脸2D和3D关键点位置；3)根据检测到的2D关键点的左右轮廓点分别估计一个欧拉角，取水平方向旋转角yaw值最大的作为一个粗姿态估计；4)由步骤3)得到粗的姿态估计，将模型中的n个点投影在图像上，利用检测到的3D点替换被遮挡的2D轮廓点，再更新n个点估计一个优化后的姿态；5)由步骤4)得到优化后的姿态估计，根据所获得的姿态估计自适应地调整2D和3D关键点的权重；6)由步骤5)估计人脸的形状和表情参数，结合步骤4)得到的姿态参数拟合人脸模型。具体步骤如下：3-1)3DMM是一种3D人脸统计模型，属基于主成分分析的线性模型，其顶点表示为:V(α,β)＝Msha(α)+Mexp(β)(1)其中Msha表示形状向量，Mexp表示表情向量，α是形状参数，β是表情参数，Msha和Mexp定义为：其中是平均形状，是平均表情，Γsha和Γexp分别是由扫描的中性形状和表情训练得到的主成分系数；3-2)根据步骤3)得到一个粗姿态估计后，由步骤4)得到优化后的姿态估计PΠ,R,t，其中t是位移向量，s是缩放系数，Π定义为：其中R为由罗德里格斯公式表示的3×3旋转矩阵:其中I是一个3×3的单位阵，是关于y的斜对称矩阵，模型的欧拉角向量利用罗德里格斯公式得到欧拉角到旋转矩阵的变换；3-3)2D拟合约束E2d定义为：Vk是3D人脸模型的第k个顶点，li是与顶点对应的第i个关键点，L2d,i是第i个检测到的2D关键点，通过最小化2D关键点L2d,i和模型投影的2D点位置之间的欧氏距离来求解3DMM参数；3-4)为了结合3D深度信息来解决不可见区域的歧义性，提出3D-to-3D拟合约束：其中姿态参数和优化求解方式与E2d相似，Lg3d,i是归一化为2维坐标的第i个3D关键点；3-5)为了有效地结合2D和3D关键点信息，利用权重自适应调整方法:其中设置ε值为0.5，即以人脸旋转角度45°为界，当旋转角度大于45°时，取Wλ＝1，2D和3D权重调整如下：其中设置调整权重w值为0.5。当Wλ＝0时，人脸旋转角度小于45°，2D和3D权重调整如下：3-6)期望每个形状和表情参数都服从正态分布，均值和方差为零。形状和表情先验项定义如下:Ep(α,β)＝λαEprior(α)+λβEprior(β)(13)其中Eprior(α)是形状先验，Eprior(β)是表情先验，λα和λβ是他们对应的权重系数；形状先验定义为：表情先验定义为：其中αi与βi分别表示第i个形状和表情参数，Nα和Nβ分别表示形状和表情参数总数，δα和δβ是主成分形状和表情对应的特征值，实验证明添加形状和表情先验可以有效地提高重建准确率；3-7)最后总的2D和3D的联合优化求解过程如下，将其视为一个非线性最小二乘问题：Efit(α,β,PΠ,R,t)＝λ2dE2d(α,β,PΠ,R,t)+λ3dE3d(α,β,PΠ,R,t)+Ep(α,β)(16)其中λ2d是2D拟合约束本文档来自技高网...

【技术保护点】
1.一种基于单图像的自适应三维人脸重建方法，其特征是，包括以下步骤：/n1)首先输入一张人脸图片；/n2)对于输入的图片，使用人脸关键点检测方法分别估计图片中人脸2D和3D关键点位置；/n3)根据检测到的2D关键点的左右轮廓点分别估计一个欧拉角，取水平方向旋转角yaw值最大的作为一个粗姿态估计；/n4)由步骤3)得到粗的姿态估计，将模型中的n个点投影在图像上，利用检测到的3D点替换被遮挡的2D轮廓点，再更新n个点估计一个优化后的姿态；/n5)由步骤4)得到优化后的姿态估计，根据所获得的姿态估计自适应地调整2D和3D关键点的权重；/n6)由步骤5)估计人脸的形状和表情参数，结合步骤4)得到的姿态参数拟合人脸模型。/n

【技术特征摘要】
1.一种基于单图像的自适应三维人脸重建方法，其特征是，包括以下步骤：
1)首先输入一张人脸图片；
2)对于输入的图片，使用人脸关键点检测方法分别估计图片中人脸2D和3D关键点位置；
3)根据检测到的2D关键点的左右轮廓点分别估计一个欧拉角，取水平方向旋转角yaw值最大的作为一个粗姿态估计；
4)由步骤3)得到粗的姿态估计，将模型中的n个点投影在图像上，利用检测到的3D点替换被遮挡的2D轮廓点，再更新n个点估计一个优化后的姿态；
5)由步骤4)得到优化后的姿态估计，根据所获得的姿态估计自适应地调整2D和3D关键点的权重；
6)由步骤5)估计人脸的形状和表情参数，结合步骤4)得到的姿态参数拟合人脸模型。


2.如权利要求1所述的基于单图像的自适应三维人脸重建方法，其特征是，具体步骤如下：
3-1)3DMM是一种3D人脸统计模型，属基于主成分分析的线性模型，其顶点表示为:
V(α,β)＝Msha(α)+Mexp(β)(1)
其中Msha表示形状向量，Mexp表示表情向量，α是形状参数，β是表情参数，Msha和Mexp定义为：






其中是平均形状，是平均表情，Γsha和Γexp分别是由扫描的中性形状和表情训练得到的主成分系数；
3-2)根据步骤3)得到一个粗姿态估计后，由步骤4)得到优化后的姿态估计PΠ,R,t，其中t是位移向量，s是缩放系数，Π定义为：



其中R为由罗德里格斯公式表示的3×3旋转矩阵:



其中I是一个3×3的单位阵，是关于y的斜对称矩阵，模型的欧拉角向量利用罗德里格斯公式得到欧拉角到旋转矩阵的变换；
3-3)2D拟合约束E2d定义为：



Vk是3D人脸模型的第k个顶点，li是与顶点对应的第i个关键点，L2d,...

【专利技术属性】
技术研发人员：李坤，杨婧，张劲松，来煜坤，
申请(专利权)人：天津大学，
类型：发明
国别省市：天津;12