人脸妆容去除方法技术

本发明专利技术涉及计算机视觉技术领域，具体提供了一种人脸妆容去除方法，旨在解决如何在保持人脸姿态、表情和身份不变的情况下，根据化妆人脸图像生成更为真实的无妆人脸图像的技术问题。为此目的本发明专利技术提供的人脸妆容去除方法主要包括：基于预设的形状保持网络并且根据待测化妆人脸图像，获取待测化妆人脸图像对应的形状信息；基于预设的纹理风格迁移网络并且根据待测化妆人脸图像，获取待测化妆人脸图像对应的无妆纹理风格信息；基于预设的融合网络并且根据形状信息与无妆纹理风格信息，获取待测化妆人脸图像对应的无妆人脸图像。基于上述步骤可以在保持人脸姿态、表情和身份不变的情况下合成更为逼真的无妆人脸图像。

Facial makeup removal method

The invention relates to the field of computer vision technology, and specifically provides a method for removing facial makeup, aiming at solving the technical problem of how to generate more realistic makeup-free face images based on makeup facial images while maintaining the face posture, expression and identity unchanged. For this purpose, the method of facial makeup removal provided by the present invention mainly includes: obtaining the corresponding shape information of the face image to be measured based on the preset shape preservation network and according to the face image to be measured; transferring the network based on the preset texture style and obtaining the corresponding makeup-free texture style information of the face image to be measured; and based on the preset texture style transfer network, obtaining the corresponding makeup-free texture style information of the face image to be measured; The fusion network is set up and the makeup-free face image corresponding to the makeup-free face image is obtained according to the shape information and the makeup-free texture style information. Based on the above steps, a more realistic makeup-free face image can be synthesized without changing the pose, expression and identity of the face.

【技术实现步骤摘要】
人脸妆容去除方法
本专利技术涉及计算机视觉
，具体提供了一种人脸妆容去除方法。
技术介绍
人脸妆容去除是一种在保持人脸姿态、表情和身份不变的情况下，将化妆人脸图像生成对应的无妆人脸图像的技术，其在人脸识别、人脸验证等诸多领域具有广泛应用。但是，由于人脸具有复杂的几何形式、不可计数的脸部皱纹、细微的颜色变化及细微的纹理变化的特点，使得根据化妆人脸图像合成“真实的”无妆人脸仍具有一定的难度。相应地，本领域需要一种新的人脸妆容去除方法来解决上述问题。
技术实现思路
为了解决现有技术中的上述问题，即为了解决如何在保持人脸姿态、表情和身份不变的情况下，根据化妆人脸图像生成更为真实的无妆人脸图像的技术问题。本专利技术提供了一种人脸妆容去除方法，所述方法包括：基于预设的形状保持网络并且根据待测化妆人脸图像，获取所述待测化妆人脸图像对应的形状信息；基于预设的纹理风格迁移网络并且根据所述待测化妆人脸图像，获取所述待测化妆人脸图像对应的无妆纹理风格信息；基于预设的融合网络并且根据所述形状信息与所述无妆纹理风格信息，获取所述待测化妆人脸图像对应的无妆人脸图像；其中，所述形状保持网络、所述纹理风格迁移网络和所述融合网络均是利用机器学习算法构建的卷积神经网络。进一步地，本专利技术提供的一个优选实施方案为：在“基于预设的形状保持网络并且根据待测化妆人脸图像，获取所述待测化妆人脸图像对应的形状信息”的步骤之前，所述方法还包括：对预设训练数据库中每个化妆人脸图像样本进行UV映射得到所述每个化妆人脸图像样本对应的UV关联场；基于所述化妆人脸图像样本及其对应的UV关联场并且根据下式所示的形状保持网络损失函数Lshape训练所述形状保持网络：其中，所述表示基于IA在概率分布下的期望，所述IA表示所述化妆人脸图像样本，所述SNet表示所述形状保持网络，所述S表示所述IA对应的UV关联场，所述||||1表示1范数。进一步地，本专利技术提供的一个优选实施方案为：所述纹理风格迁移网络包括迁移网络，所述迁移网络配置为获取化妆人脸图像对应的无妆纹理风格信息，“获取所述待测化妆人脸图像对应的无妆纹理风格信息”的步骤包括：通过所述迁移网络获取所述待测化妆人脸图像对应的无妆纹理风格信息。进一步地，本专利技术提供的一个优选实施方案为：所述训练数据库还包括分别与所述每个化妆人脸图像样本对应的无妆人脸图像样本，在“获取所述待测化妆人脸图像对应的无妆纹理风格信息”的步骤之前，所述方法还包括：以所述化妆人脸图像样本中预设人脸关键点的位置信息为参照信息并且根据该化妆人脸图像样本对应的无妆人脸图像样本中所述人脸关键点的位置信息对所述无妆人脸图像样本进行变形，得到第一无妆人脸图像；分别对所述化妆人脸图像样本及其对应的第一无妆人脸图像进行图像分割，并且将从所述第一无妆人脸图像中分割出的图像反贴至所述化妆人脸图像样本中相应的分割区域，得到第二无妆人脸图像；基于所述化妆人脸图像样本及其对应的第二无妆人脸图像对所述纹理风格迁移网络进行网络训练；其中，所述纹理风格迁移网络还包括第一特征提取网络和生成对抗网络，所述第一特征提取网络用于对所述迁移网络所获取的所述化妆人脸图像样本对应的无妆纹理风格信息进行特征提取并且将提取结果作为假样本，以及用于对所述第二无妆人脸图像进行特征提取并且将提取结果作为真样本；所述生成对抗网络用于根据所述假样本与所述真样本判断所述无妆纹理风格信息的真假。进一步地，本专利技术提供的一个优选实施方案为：“基于所述化妆人脸图像样本及其对应的第二无妆人脸图像对所述纹理风格迁移网络进行网络训练”的步骤包括：基于所述化妆人脸图像样本及其对应的第二无妆人脸图像并且根据下式所示的损失函数L总1训练所述纹理风格迁移网络：L总1＝Lstyle+LT其中，所述Lstyle为所述纹理风格迁移网络中迁移网络对应的损失函数，所述LT为所述纹理风格迁移网络中生成对抗网络对应的损失函数。进一步地，本专利技术提供的一个优选实施方案为：所述纹理风格迁移网络中迁移网络对应的损失函数Lstyle如下式所示：其中，所述Lc为图像内容损失函数，所述Ls为图像风格损失函数，所述表示预设的权重系数；并且其中，所述图像内容损失函数Lc如下式所示：Lc＝||Kn[(f(GT(IA)))T(f(GT(IA)))-(f(IA))T(f(IA))]||2其中，所述“||||2”表示2范数，所述Kn表示预设的所述第一特征提取网络中第n个特征提取层对应的归一化因子，且所述Cn、Hn、Wn分别表示所述第n个特征提取层的通道数、高度和宽度，所述“f()”表示所述第一特征提取网络，所述GT表示所述迁移网络，所述IA表示所述化妆人脸图像样本，所述T表示矩阵转置符号；所述图像风格损失函数Ls如下式所示：其中，所述Kn表示预设的所述第一特征提取网络中第n个特征提取层对应的归一化因子，所述N表示所述第一特征提取网络中特征提取层的数量，所述“fn()”表示所述第一特征提取网络中第n个特征提取层，所述IB'表示所述第二无妆人脸图像。进一步地，本专利技术提供的一个优选实施方案为：所述纹理风格迁移网络中生成对抗网络对应的损失函数LT如下式所示：其中，所述表示基于IB'在概率分布下的期望，所述IB'表示所述第二无妆人脸图像，所述表示基于IA在概率分布下的期望，所述IA表示所述化妆人脸图像样本，所述DT表示所述纹理风格迁移网络中的生成对抗网络。进一步地，本专利技术提供的一个优选实施方案为：所述融合网络包括生成器和判别器，“基于预设的融合网络并且根据所述形状信息与所述无妆纹理风格信息，获取所述待测化妆人脸图像对应的无妆人脸图像”的步骤包括：通过所述生成器并且根据所述形状信息与所述无妆纹理风格信息，获取所述待测化妆人脸图像对应的无妆人脸图像。进一步地，本专利技术提供的一个优选实施方案为：在“基于预设的融合网络并且根据所述形状信息与所述无妆纹理风格信息，获取所述待测化妆人脸图像对应的无妆人脸图像”的步骤之前，所述方法还包括：获取所述形状保持网络得到的所述训练数据库中每个化妆人脸图像样本对应的形状信息；获取所述纹理风格迁移网络得到的所述每个化妆人脸图像样本对应无妆纹理风格信息；基于所述化妆人脸图像样本对应的第二无妆人脸图像、所述形状信息与所述无妆纹理风格信息对所述融合网络进行网络训练；其中，所述融合网络还包括第二特征提取网络，所述第二特征提取网络用于分别对所述第二无妆人脸图像和所述生成器根据所述化妆人脸图像样本对应的形状信息与所述无妆纹理风格信息生成无妆人脸图像进行特征提取，所述判别器用于根据预设的假样本对与预设的真样本对判断所述生成器所生成的无妆人脸图像的真假；所述假样本对包括所述生成器所生成的无妆人脸图像和化妆人脸图像样本，所述真样本对包括第二无妆人脸图像和化妆人脸图像样本。进一步地，本专利技术提供的一个优选实施方案为：“基于所述化妆人脸图像样本对应的第二无妆人脸图像、所述形状信息与所述无妆纹理风格信息对所述融合网络进行网络训练”的步骤包括：基于所述第二无妆人脸图像、所述形状信息与所述无妆纹理风格信息并且根据下式所示的损失函数L总2训练所述融合网络：L总2＝LI+Lpixel+LF其中，所述LI表示所述融合网络损失函数中的身份保持损失函数，所述Lpixel表示所述融合网络损失函本文档来自技高网...

【技术保护点】
1.一种人脸妆容去除方法，其特征在于，所述方法包括：基于预设的形状保持网络并且根据待测化妆人脸图像，获取所述待测化妆人脸图像对应的形状信息；基于预设的纹理风格迁移网络并且根据所述待测化妆人脸图像，获取所述待测化妆人脸图像对应的无妆纹理风格信息；基于预设的融合网络并且根据所述形状信息与所述无妆纹理风格信息，获取所述待测化妆人脸图像对应的无妆人脸图像；其中，所述形状保持网络、所述纹理风格迁移网络和所述融合网络均是利用机器学习算法构建的卷积神经网络。

【技术特征摘要】
1.一种人脸妆容去除方法，其特征在于，所述方法包括：基于预设的形状保持网络并且根据待测化妆人脸图像，获取所述待测化妆人脸图像对应的形状信息；基于预设的纹理风格迁移网络并且根据所述待测化妆人脸图像，获取所述待测化妆人脸图像对应的无妆纹理风格信息；基于预设的融合网络并且根据所述形状信息与所述无妆纹理风格信息，获取所述待测化妆人脸图像对应的无妆人脸图像；其中，所述形状保持网络、所述纹理风格迁移网络和所述融合网络均是利用机器学习算法构建的卷积神经网络。2.根据权利要求1所述的人脸妆容去除方法，其特征在于，在“基于预设的形状保持网络并且根据待测化妆人脸图像，获取所述待测化妆人脸图像对应的形状信息”的步骤之前，所述方法还包括：对预设训练数据库中每个化妆人脸图像样本进行UV映射得到所述每个化妆人脸图像样本对应的UV关联场；基于所述化妆人脸图像样本及其对应的UV关联场并且根据下式所示的形状保持网络损失函数Lshape训练所述形状保持网络：其中，所述表示基于IA在概率分布下的期望，所述IA表示所述化妆人脸图像样本，所述SNet表示所述形状保持网络，所述S表示所述IA对应的UV关联场，所述||||1表示1范数。3.根据权利要求2所述的人脸妆容去除方法，其特征在于，所述纹理风格迁移网络包括迁移网络，所述迁移网络配置为获取化妆人脸图像对应的无妆纹理风格信息，“获取所述待测化妆人脸图像对应的无妆纹理风格信息”的步骤包括：通过所述迁移网络获取所述待测化妆人脸图像对应的无妆纹理风格信息。4.根据权利要求3所述的人脸妆容去除方法，其特征在于，所述训练数据库还包括分别与所述每个化妆人脸图像样本对应的无妆人脸图像样本，在“获取所述待测化妆人脸图像对应的无妆纹理风格信息”的步骤之前，所述方法还包括：以所述化妆人脸图像样本中预设人脸关键点的位置信息为参照信息并且根据该化妆人脸图像样本对应的无妆人脸图像样本中所述人脸关键点的位置信息对所述无妆人脸图像样本进行变形，得到第一无妆人脸图像；分别对所述化妆人脸图像样本及其对应的第一无妆人脸图像进行图像分割，并且将从所述第一无妆人脸图像中分割出的图像反贴至所述化妆人脸图像样本中相应的分割区域，得到第二无妆人脸图像；基于所述化妆人脸图像样本及其对应的第二无妆人脸图像对所述纹理风格迁移网络进行网络训练；其中，所述纹理风格迁移网络还包括第一特征提取网络和生成对抗网络，所述第一特征提取网络用于对所述迁移网络所获取的所述化妆人脸图像样本对应的无妆纹理风格信息进行特征提取并且将提取结果作为假样本，以及用于对所述第二无妆人脸图像进行特征提取并且将提取结果作为真样本；所述生成对抗网络用于根据所述假样本与所述真样本判断所述无妆纹理风格信息的真假。5.根据权利要求4所述的人脸妆容去除方法，其特征在于，“基于所述化妆人脸图像样本及其对应的第二无妆人脸图像对所述纹理风格迁移网络进行网络训练”的步骤包括：基于所述化妆人脸图像样本及其对应的第二无妆人脸图像并且根据下式所示的损失函数L总1训练所述纹理风格迁移网络：L总1＝Lstyle+LT其中，所述Lstyle为所述纹理风格迁移网络中迁移网络对应的损失函数，所述LT为所述纹理风格迁移网络中生成对抗网络对应的损失函数。6.根据权利要求5所述的人脸妆容去除方法，其特征在于，所述纹理风格迁移网络中迁移网络对应的损失函数Lstyle如下式所示：其中，所述Lc为图像内容损失函数，所述Ls为图像风格损失函数，所述表示预设的权重系数；并且其中，所述图像内容损失函数Lc如下式所示：Lc＝||Kn[(f(GT(IA)))T(f(GT(IA)))-(f(IA))T(f(IA))]||2其中，所述“||||2”表示2范数，所述Kn表示预设的所述第一特征提取网络中第n个特征提取层对应的归一化因子，且所述Cn、Hn、Wn分别表示所述第n个特征提取层的通道数、高度和宽...

【专利技术属性】
技术研发人员：赫然，侯鑫，李祎，曹杰，
申请(专利权)人：中国科学院自动化研究所，
类型：发明
国别省市：北京,11