一种基于局部遮挡条件下的图像换脸方法技术

本发明专利技术提供了一种基于局部遮挡条件下的图像换脸方法，输入人脸图像和目标人脸图像由二维特征点进行描述，在输入图像和目标图像上做相关人脸区域的划分，建立起人脸区域对应的像素特征函数，并在人脸区域迁移的过程中无缝融合消除拼接边界。利用图像分层叠加的思路，通过拉普拉斯金字塔重建来合成最终输出图像。本发明专利技术最终合成的图像无明显修改拼接痕迹。通过与目前图像换脸常用的泊松融合方法对比，很好的还原遮挡物体边缘的图像效果，特别是当遮挡物体在人脸区域有投射阴影的时候，遮挡物边缘区域细节与泊松融合方法对比差异明显，整体图像换脸后的图像效果协调自然，无明显瑕疵。

An image face changing method based on local occlusion

The invention provides an image face changing method based on local occlusion. The input face image and the target face image are described by two-dimensional feature points, the relevant face areas are divided on the input image and the target image, the pixel feature function corresponding to the face area is established, and the stitching boundary is eliminated seamlessly in the process of face area migration. Based on the idea of image layering and stacking, the final output image is synthesized through the reconstruction of Laplacian pyramid. The final synthesized image of the invention has no obvious modification and splicing trace. Compared with the Poisson fusion method commonly used in face changing, it can restore the image effect of occluded object edge very well, especially when the occluded object casts shadow in the face area, the difference between the details of occluded object edge area and Poisson fusion method is obvious, and the image effect after face changing of the whole image is harmonious and natural without obvious defects.

【技术实现步骤摘要】
一种基于局部遮挡条件下的图像换脸方法
本专利技术涉及图像处理和计算机图形学
，主要涉及一种基于局部遮挡条件下的目标图像换脸方法。
技术介绍
图像换脸技术是指将输入图像中的用户人脸自动移植到目标图像中，替换掉目标图像中的指定人脸，从而使图像人脸自动融合到目标图像中。图像换脸的过程要求保持输入图像的人脸容貌特征及表情特征不变，但要与目标人脸姿态相匹配，并且最终合成的人脸图像要有自然的整体效果，即要求换脸后的输入人脸的肤色、妆容以及光照环境能够与目标图像相匹配。这一技术可以使输入图像的用户具有代入感，增加图像交互式体验。目前该技术存在的主要问题是目标人脸图像可能存在一些局部遮挡，例如眼镜、头发、衣物或配饰等，由于在人脸图像中的局部遮挡具有复杂性和不可预料性，基于局部遮挡条件下的图像换脸技术需要还原遮挡物体与人脸过渡区域的图像效果，提高目标人脸图像之间的移植鲁棒性，使得到的合成照片真实感更强。
技术实现思路
为了克服现有技术的不足，本专利技术提供一种基于局部遮挡条件下的图像换脸方法。在给定人脸替换的目标图像的条件下，将输入人脸图像的主要面部区域进行人脸的替换。由于输入人脸图像和目标人脸图像是由二维特征点进行描述的，在进行人脸替换时需要考虑图像的空间姿态对齐问题，依据人脸低分辨率三维模型进行图像姿态的调整。在输入图像和目标图像上做相关人脸区域的划分，建立起人脸区域对应的像素特征函数，并在人脸区域迁移的过程中无缝融合消除拼接边界。在进行人脸图像的换脸过程中，由于目标图像中可能存在遮挡条件，换脸过程需要保持遮挡物不变，并替换遮挡物后的人脸区域，因此在进行人脸替换时需要充分考虑遮挡物叠加的平滑性。本专利技术利用图像分层叠加的思路，通过拉普拉斯金字塔重建来合成最终输出图像，并对遮挡物所产生的混合边缘和投射阴影进行优化，得到的换脸后的输出图像很好的还原了目标图像的效果，整体效果协调自然。本专利技术解决其技术问题所采用的技术方案的步骤如下：步骤1：对输入图像及目标图像进行预处理；对输入图像IS及目标图像IT中的遮挡物进行标注，然后利用标注点对遮挡物做遮挡物提取，即将遮挡物按其轮廓分割，分别对输入图像IS及目标图像IT进行遮挡物及人脸区域分割，无遮挡物时,则不进行遮挡物分割只进行人脸区域分割,当人脸图像存在人脸本身之外的图像遮挡物时，以遮挡物外形为分割轮廓,将遮挡物进行抠图分割，由此分割出遮挡物区域及人脸区域；人脸区域的分割以人脸外形的平滑轮廓为分割标准，按面部轮廓进行人脸区域抠图提取,保证将面部主要器官如眼睛、眉毛、鼻嘴区域包括在人脸区域内；人脸区域划分为无遮挡区域B0与遮挡区域Boc；步骤2：采用基于图像的人脸三维低分辨率模型进行人脸姿态的配准，利用双线性模型优化算法建立输入图像人脸三维的低分辨率模型FS与目标图像人脸三维的低分辨率模型FT，其中人脸低分辨率模型的建立步骤如下：标注输入图像IS及目标图像IT中的人脸特征点及FaceWarehouse数据库中的三维人脸模型中的人脸特征点，由此给定FaceWarehouse数据库中的三维人脸模型的张量核Cr，图像中人脸的三维几何模型F表示为：F＝R×(Cr×ωid×ωexp)+T(1)其中：ωid与ωexp分别为当前人脸的身份特征向量与表情特征向量，R与T分别表示当前人脸在空间中的旋转矩阵与平移向量，投影后的人脸表面每个像素的位置与该点的深度以及相机焦距有关，投影计算表示为：其中f表示相机焦距，Fx，Fy，Fz分别表示三维几何模型F中顶点的x坐标，y坐标与z坐标，Px与Py表示三维几何模型F中顶点投影后的二维坐标，对三维几何模型F投影后表示为：F2D＝Q(f)·(R·(Cr×ωid×ωexp)+T(3)其中Q(f)表示公式(2)中的投影集合形式，F2D表示对三维几何模型F进行投影后的人脸模型函数，{qi}为输入图像中人脸特征点的2D坐标集合，则由{qi}与F2D建立模型特征目标函数：其中i为坐标集{qi}中第i个人脸特征点，R，T，f，ωid，ωexp为未知参数，L表示特征点的个数，从二维特征点重建三维人脸模型即求该目标函数最小化的最优解：其中R*，T*，f*，分别表示R，T，f，ωid，ωexp参数的待求最佳值，将待求解的变量分为四组，即{R,T}，{f}，{ωid}以及{ωexp}，对四组变量进行初始化，固定其中任意三组变量，仅对一组变量进行优化求解，更新所求得的一组变量值后，再依次对其余三组变量进行循环迭代，将已求出的此组变量进行固定，对其余待求变量进行求解，在对ωid与ωexp变量进行求解时，加入关于ωid与ωexp的规则化项，进一步对ωid与ωexp约束，以避免出现畸形人脸；ωid与ωexp的规则化项为：其中Ereg_id、Ereg_exp分别表示ωid与ωexp的规则化项，分别表示ωid与ωexp的数学期望，cov-1(Uid)、cov-1(Uexp)分别表示ωid与ωexp的方差；加入规则化项后的人脸身份特征ωid与表情特征ωexp计算避免出现人脸畸变，为参数最优解；则图像中人脸的三维几何模型F的优化函数表示为：其中w1与w2分别对应规则化项Ereg_id与Ereg_exp的权重；图像中人脸的三维几何模型F的优化函数的具体计算步骤如下：初始化时，人脸姿态R为单位矩阵，T为零向量，相机焦距f取鼻尖与后脑勺距离的10倍，并初始化与先对人脸姿态R与T进行求解，此时优化问题变为：其中fc,ωid,c与ωexp,c分别为固定{R,T}变量后的当前计算结果，在计算出人脸姿态R与T之后，再依次对ωid与ωexp优化计算，首先计算ωid，固定R，T，f，ωexp后，优化问题为：其中Bexp,c＝Cr×expωexp,c，表示张量核与当前人脸表情特征向量的模乘，此时三阶张量Cr收缩为二维矩阵Bexp,c；同理可得关于ωexp的优化结果为：最后对焦距f进行优化，优化问题为：其中Sc＝Cr×idωid,c×expωexp,c，上式为关于f的线性优化，f具有最小二乘解，重复计算公式(9)、(10)、(11)、(12)，当公式(8)的图像中人脸的三维几何模型F的优化函数下降至低于阈值或超过最大迭代次数时，停止迭代，得到人脸姿态R与T，相机焦距f与人脸身份特征ωid和表情特征ωexp的最优解，即人脸低分辨率模型的各个参数；步骤3：姿态变换及局部变形处理；将输入图像IS及目标图像IT分别输入步骤2得到人脸低分辨率模型FS与FT，分别得到人脸姿态(RS,TS)与(RT,TT)，相机参数fS与fT，将输入图像IS的人脸姿态函数记为HS＝(RS,TS,fS)，目标图像IT的人脸姿态函数记为HT＝(RT,TT,fT)；其中，Rs、Ts分别表示步骤2求得的输入图像的人脸低分辨率模型在空间中的旋转矩阵与平移向量，RT、TT分别表示步骤2求得的目标图像的人脸低分辨率模本文档来自技高网...

【技术保护点】
1.一种基于局部遮挡条件下的图像换脸方法，其特征在于包括下述步骤：/n步骤1：对输入图像及目标图像进行预处理；/n对输入图像I

【技术特征摘要】
1.一种基于局部遮挡条件下的图像换脸方法，其特征在于包括下述步骤：
步骤1：对输入图像及目标图像进行预处理；
对输入图像IS及目标图像IT中的遮挡物进行标注，然后利用标注点对遮挡物做遮挡物提取，即将遮挡物按其轮廓分割，分别对输入图像IS及目标图像IT进行遮挡物及人脸区域分割，无遮挡物时,则不进行遮挡物分割只进行人脸区域分割,当人脸图像存在人脸本身之外的图像遮挡物时，以遮挡物外形为分割轮廓,将遮挡物进行抠图分割，由此分割出遮挡物区域及人脸区域；人脸区域的分割以人脸外形的平滑轮廓为分割标准，按面部轮廓进行人脸区域抠图提取,保证将面部主要器官如眼睛、眉毛、鼻嘴区域包括在人脸区域内；人脸区域划分为无遮挡区域B0与遮挡区域Boc；
步骤2：采用基于图像的人脸三维低分辨率模型进行人脸姿态的配准，利用双线性模型优化算法建立输入图像人脸三维的低分辨率模型FS与目标图像人脸三维的低分辨率模型FT，其中人脸低分辨率模型的建立步骤如下：
标注输入图像IS及目标图像IT中的人脸特征点及FaceWarehouse数据库中的三维人脸模型中的人脸特征点，由此给定FaceWarehouse数据库中的三维人脸模型的张量核Cr，图像中人脸的三维几何模型F表示为：
F＝R×(Cr×ωid×ωexp)+T(1)
其中：ωid与ωexp分别为当前人脸的身份特征向量与表情特征向量，R与T分别表示当前人脸在空间中的旋转矩阵与平移向量，投影后的人脸表面每个像素的位置与该点的深度以及相机焦距有关，投影计算表示为：



其中f表示相机焦距，Fx，Fy，Fz分别表示三维几何模型F中顶点的x坐标，y坐标与z坐标，Px与Py表示三维几何模型F中顶点投影后的二维坐标，对三维几何模型F投影后表示为：
F2D＝Q(f)·(R·(Cr×ωid×ωexp)+T(3)
其中Q(f)表示公式(2)中的投影集合形式，F2D表示对三维几何模型F进行投影后的人脸模型函数，{qi}为输入图像中人脸特征点的2D坐标集合，则由{qi}与F2D建立模型特征目标函数：



其中i为坐标集{qi}中第i个人脸特征点，R，T，f，ωid，ωexp为未知参数，L表示特征点的个数，从二维特征点重建三维人脸模型即求该目标函数最小化的最优解：



其中R*，T*，f*，分别表示R，T，f，ωid，ωexp参数的待求最佳值，将待求解的变量分为四组，即{R,T}，{f}，{ωid}以及{ωexp}，对四组变量进行初始化，固定其中任意三组变量，仅对一组变量进行优化求解，更新所求得的一组变量值后，再依次对其余三组变量进行循环迭代，将已求出的此组变量进行固定，对其余待求变量进行求解，在对ωid与ωexp变量进行求解时，加入关于ωid与ωexp的规则化项，进一步对ωid与ωexp约束，以避免出现畸形人脸；ωid与ωexp的规则化项为：






其中Ereg_id、Ereg_exp分别表示ωid与ωexp的规则化项，分别表示ωid与ωexp的数学期望，cov-1(Uid)、cov-1(Uexp)分别表示ωid与ωexp的方差；
加入规则化项后的人脸身份特征ωid与表情特征ωexp计算避免出现人脸畸变，为参数最优解；
则图像中人脸的三维几何模型F的优化函数表示为：



其中w1与w2分别对应规则化项Ereg_id与Ereg_exp的权重；
图像中人脸的三维几何模型F的优化函数的具体计算步骤如下：
初始化时，人脸姿态R为单位矩阵，T为零向量，相机焦距f取鼻尖与后脑勺距离的10倍，并初始化与先对人脸姿态R与T进行求解，此时优化问题变为：



其中fc,ωid,c与ωexp,c分别为固定{R,T}变量后的当前计算结果，在计算出人脸姿态R与T之后，再依次对ωid与ωexp优化计算，首先计算ωid，固定R，T，f，ωexp后，优化问题为：



其中Bexp,c＝Cr×expωexp,c，表示张量核与当前人脸表情特征向量的模乘，此时三阶张量Cr收缩为二维矩阵Bexp,c；同理可得关于ωexp的优化结果为：



最后对焦距f进行优化，优化问题为：



其中Sc＝Cr×idωid,c×expωexp,c，上式为关于f的线性优化，f具有最小二乘解，重复计算公式(9)、(10)、(11)、(12)，当公式(8)的图像中人脸的三维几何模型F的优化函数下降至低于阈值或超过最大迭代次数时，停止迭代，得到人脸姿态R与T，相机焦距f与人脸身份特征ωid和表情特征ωexp的最优解，即人脸低分辨率模型的各个参数；
步骤3：姿态变换及局部变形处理；
将输入图像IS及目标图像IT分别输入步骤2得到人脸低分辨率模型FS与FT，分别得到人脸姿态(RS,TS)与(RT,TT)，相机参数fS与fT，将输入图像IS的人脸姿态函数记为HS＝(RS,TS,fS)，目标图像IT的人脸姿态函数记为HT＝(RT,TT,fT)；其中，Rs、Ts分别表示步骤2求得的输入图像的人脸低分辨率模型在空间中的旋转矩阵与平移向量，RT、TT分别表示步...

【专利技术属性】
技术研发人员：樊养余，刘洋，黄炎辉，郭哲，吕国云，齐敏，李文星，殷丽丽，
申请(专利权)人：西北工业大学，
类型：发明
国别省市：陕西;61