一种基于制造技术

本发明专利技术属于妆容迁移领域，公开了一种基于

【技术实现步骤摘要】
一种基于UV空间映射的戏曲妆容迁移方法


[0001]本专利技术属于妆容迁移
，具体涉及一种基于
UV
空间映射的戏曲妆容迁移方法
。

技术介绍

[0002]戏曲是我国非物质文化遗产之一，但是目前面临着受众老龄化
、
传播发展受限的问题
。
戏曲数字化创新成为当下文化传播的必要方式，可以极大地丰富戏曲表现形式
。
戏曲妆容迁移指将妆容迁移与戏曲文化相结合
。
目前大多数的妆容迁移算法都是基于二维人脸图像，在正面人脸和干净妆容上的迁移取得了很好的成果
。
然而妆容迁移实际应用中，往往会有不同姿态的客观影响，影响了网络的鲁棒性
。
戏曲舞台姿态多变，因此需要在不同姿态下对妆容进行迁移
。
由于不同的面部姿势，源图像和目标图像在语义上没有对准，这会导致在妆容迁移时出现人脸妆容迁移错位和阴影，对迁移过程产生干扰，导致生成效果不好，生成的图像模糊，图像质量差
。
[0003]目前妆容迁移已经取得了不错的成果，但仍然面临以下挑战：
[0004](1)
现有大多数妆容迁移算法在简单妆容的迁移上效果很好，在戏曲等极端妆容的迁移上效果不佳
。
[0005](2)
目前的妆容迁移算法不能同时适用于简单妆容和极端妆容，现有的妆容迁移算法在对极端妆容进行迁移时，色彩把控能力较差
。
[0006](3)
现有的妆容迁移算法大多是对正面人脸进行迁移，在不同姿态的情况下，妆容迁移容易出现重影和迁移错位的问题
。

技术实现思路

[0007]针对现有技术存在的不足，本专利技术的目的在于提供一种基于
UV
空间映射的戏曲妆容迁移方法，提升网络对不同姿态和表情的鲁棒性，提升色彩把控能力，完成妆容的有效迁移
。
[0008]为了实现上述目的，本专利技术采用以下技术方案予以实现：
[0009]一种基于
UV
空间映射的戏曲妆容迁移方法，包括以下步骤：
[0010]步骤一
、
数据预处理，构建戏曲妆容数据集
Opera Makeup
；将数据集分为训练集和测试集；
[0011]步骤二
、
使用
UV
映射，对输入图像提取
UV
纹理图和
UV
位置图；
[0012]步骤三
、
基于内容
‑
风格分离的妆容迁移网络，提取出纹理图的内容特征和风格特征；所述的妆容迁移网络包括内容编码器
、
风格编码器
、
妆容融合解码器和两个各自对应的判别器；
[0013]步骤四
、
使用全连接网络得到风格特征的仿射变换参数，通过多层感知机和妆容融合解码器的自适应残差块进行特征融合，得到迁移后的
UV
纹理图；
[0014]步骤五
、UV
逆映射，根据
UV
位置图和迁移后的
UV
纹理图逆映射出迁移后的妆容图
像；
[0015]步骤六
、
将生成图像输入判别器中，使用损失函数约束网络，更新网络参数，直至达到预设迭代次数，完成网络的训练；所述的损失函数包括：局部感知损失
、
面部结构损失
、
循环一致性损失
、
妆容损失
、
生成器损失函数
、
判别器损失函数；
[0016]步骤七
、
在测试数据集上，将源图像和参考图像输入到训练好的妆容迁移网络中，从而实现妆容转移
。
[0017]本专利技术还具有以下技术特征：
[0018]优选的，步骤一中所述的数据预处理，构建戏曲妆容数据集
Opera Makeup
的方法包括：
[0019]对于网络上收集的数据，首先基于
dlib
库识别人脸，裁剪出人脸图像；然后检测出人脸
68
个特征点，根据人眼位置进行语义对齐，最终得到包含不同剧种的
808
张图像，构建戏曲妆容数据集
Opera Makeup
；将戏曲妆容数据集
Opera Makeup
和公开数据集
Makeup Transfer
混合，分成训练集和测试集，进行网络训练
。
[0020]优选的，步骤二中所述的输入图像包括源图像和参考图像；
[0021]对输入图像提取
UV
映射图的具体步骤包括：
[0022]采用预训练的
PRNet
，对源图像和参考图像分别进行
UV
映射，得到源图像相应的位置映射图和纹理映射图，参考图像相应的位置映射图和纹理映射图
。
[0023]优选的，步骤六中所述的局部感知损失计算公式如下：
[0024][0025]其中，
X
表示源域，
Y
表示目标域，
E(
·
)
代表期望分布，
I
src
表示素颜人脸图像，
I
m
表示妆容人脸图像，表示生成的
Y
域风格的妆容图像，表示生成的卸妆风格的人脸图像，
F
l
表示
VGG
网络的第
l
层
。
[0026]优选的，步骤六中所述的面部结构损失计算公式如下：
[0027][0028]其中，
H、W
为图像的高度和宽度，
F
l
表示
VGG
网络的第
conv4_1
和
conv5_1
层
。
[0029]优选的，步骤六中所述的循环一致性损失计算公式如下：
[0030][0031]其中，生成的图像在内容上和输入图像
I
src
，表示重建的源域素颜人脸图像，表示重建的目标域妆容图像，
dist
表示
L1
范数，
E(
·
)
代表期望分布
。
[0032]优选的，步骤六中所述的妆容损失计算公式如下：
[0033][0034]总妆容的计算公式为：
[0035][0036]其中，
λ1、
λ2、
λ3分别为嘴唇
、
眼睛和面部的权重参数
。
[0037]优选的，步骤六中所述的生成器损失函数计算公式为：
[0038][0039]其中，
I
src
表示素颜人脸图像，
I
m...

【技术保护点】

【技术特征摘要】
1.
一种基于
UV
空间映射的戏曲妆容迁移方法，其特征在于，包括以下步骤：步骤一
、
数据预处理，构建戏曲妆容数据集
Opera Makeup
；将数据集分为训练集和测试集；步骤二
、
使用
UV
映射，对输入图像提取
UV
纹理图和
UV
位置图；步骤三
、
基于内容
‑
风格分离的妆容迁移网络，提取出纹理图的内容特征和风格特征；所述的妆容迁移网络包括内容编码器
、
风格编码器
、
妆容融合解码器和两个各自对应的判别器；步骤四
、
使用全连接网络得到风格特征的仿射变换参数，通过多层感知机和妆容融合解码器的自适应残差块进行特征融合，得到迁移后的
UV
纹理图；步骤五
、UV
逆映射，根据
UV
位置图和迁移后的
UV
纹理图逆映射出迁移后的妆容图像；步骤六
、
将生成图像输入判别器中，使用损失函数约束网络，更新网络参数，直至达到预设迭代次数，完成网络的训练；所述的损失函数包括：局部感知损失
、
面部结构损失
、
循环一致性损失
、
妆容损失
、
生成器损失
、
判别器损失；步骤七
、
在测试数据集上，将源图像和参考图像输入到训练好的妆容迁移网络中，从而实现妆容转移
。2.
如权利要求1所述的基于
UV
空间映射的戏曲妆容迁移方法，其特征在于，步骤一中所述的数据预处理，构建戏曲妆容数据集
Opera Makeup
的方法包括：对于网络上收集的数据，首先基于
dlib
库识别人脸，裁剪出人脸图像；然后检测出人脸
68
个特征点，根据人眼位置进行语义对齐，最终得到包含不同剧种的
808
张图像，构建戏曲妆容数据集
Opera Makeup
；将戏曲妆容数据集
Opera Makeup
和公开数据集
Makeup Transfer
混合，分成训练集和测试集，进行网络训练
。3.
如权利要求1所述的基于
UV
空间映射的戏曲妆容迁移方法，其特征在于，步骤二中所述的输入图像包括源图像和参考图像；对输入图像提取
UV
映射图的具体步骤包括：采用预训练的
PRNet
，对源图像和参考图像分别进行
UV
映射，得到源图像相应的位置映射图和纹理映射图，参考图像相应的位置映射图和纹理映射图
。4.
如权利要求1所述的基于
UV
空间映射的戏曲妆容迁移方法，其特征在于，步骤六中所述的局部感知损失计算公式如下：其中，
X
表示源域，
Y
表示目标域，
E(
·
)
代表期望分布，
I
src
表示素颜人脸图像，
I
m
表示妆容人脸图像，表示生成的
Y
域风格的妆...

【专利技术属性】
技术研发人员：周明全，刘雨萌，刘阳洋，
申请(专利权)人：西北大学，
类型：发明
国别省市：