自适应特征融合恢复及混合妆容迁移重组方法技术

本发明专利技术涉及一种自适应特征融合恢复及混合妆容迁移重组方法，本发明专利技术主要实现了基于自适应特征融合模块的面部特征恢复技术、根据求解加权最小二乘WLS模型选择引导图像、搭建特征提取网络以及风格迁移网络进行卸妆操作、结合生成式对抗网络及变分自编码器网络各自优势实现基于参考带妆图像的妆容迁移重组。本发明专利技术主要解决了由于姿态或光照不同、背景及人物姿势的差异性、输入照片的清晰度、尺寸大小以及自带妆容对妆容迁移重组效果产生的影响。通过结合生成式对抗网络和变分自编码器网络技术进行妆容重组，达到较好的妆容迁移效果。达到较好的妆容迁移效果。达到较好的妆容迁移效果。

Adaptive feature fusion restoration and hybrid makeup migration and reorganization method

【技术实现步骤摘要】
自适应特征融合恢复及混合妆容迁移重组方法


[0001]本专利技术涉及计算机图像处理领域，尤其涉及于一种基于自适应空间特征融合的注意力机制的面部特征融合恢复技术以及结合生成式对抗网络和变分自编码器生成网络技术的妆容重组方法。

技术介绍

[0002]在计算机图像处理领域，妆容迁移作为风格迁移的分支，利用生成式对抗网络能较好地实现从源图进行妆容特征与人脸特征的分离及在目标图上进行妆容迁移的妆容重组，具有一定程度的鲁棒性，却容易受到参考图像与源图像间存在的背景及人物姿势差异性的影响。为了优化妆容迁移效果，从成对的妆容迁移到引入循环可持续损失函数进行不成对的妆容迁移。
[0003]在现有技术中，虽有PSGAN妆容迁移论文中提出的AMM模块来解决源和参考图像的姿势和表情存在的差异性对效果带来的影响，但是基于参考图像进行的妆容迁移，妆容特征来自特定图像，选择的参考图像是否恰当对于最终效果还是具有一定影响。况且在如今大数据化时代，数据集中可供当作参考图像的图像种类繁多，如何高效地挑出能达到最优妆容迁移效果的参考图像显得较为重要。r/>[0004]除本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种自适应特征融合恢复及混合妆容迁移重组方法，其特征在于，包括以下步骤：步骤1、获取输入图像，输入图像中包括样本图像集一张低清晰度的原始输入图像I
d
，其中，表示第k张样本图像，K表示样本图像的总数；步骤2、从样本图像集中获得与原始输入图像I
d
相似度最高的图像样本图像作为引导图像；步骤3、将引导图像与原始输入图像I
d
输入多个级联的自适应特征融合模块，由最后一级自适应特征融合模块输出具有较高还原清晰度的图像其中，每一级的自适应特征融合模块基于以下步骤实现：步骤301、得到原始输入图像I
d
的特征F
d
后进行降维处理；步骤302、得到引导图像的特征F
g,w,a
后进行降维处理；步骤303、通过提取二进制图像的特征得到标记点特征，其中，提取所有输入图像的M个特征点后获得二进制图像；步骤304、对步骤303中所得特征进行降维处理；步骤305、将步骤301、步骤302以及步骤303所得到的维度一致的特征进行连接；步骤306、将通过步骤305获得的经过连接的特征作为带偏置卷积网络层的输入，在带偏置卷积网络层中引入注意力机制，利用引入注意力机制的带偏置卷积网络层融合所输入的特征；步骤307：将通过步骤302获得的引导图像的特征F
g,w,a
作为卷积层的输入；步骤308：将经过步骤307处理后的特征与通过步骤301获得的特征进行减法运算后，送入残差结构进行降维处理；步骤309：将经过步骤308处理的特征与通过步骤306所获得的特征进行乘法运算后，再次送入残差结构进行降维处理；步骤310：将通过步骤301获得的原始输入图像I
d
的特征作为卷积层的输入；步骤311：将经过步骤310处理后的特征与经过步骤309处理后的特征进行加法运算后和通过步骤309得到的结果共同输入包含残差块的重建子网处理得到输出结果；在最后一级自适应特征融合模块中，通过包含残差块的重建子网得到最终的具有较高还原清晰度的图像步骤4、若图像自带妆容，则进入步骤5进行妆容迁移；若图像不带妆容，则进入步骤6；步骤5、将图像输入IDNet特征提取网络，将IDNet特征提取网络的输出输入STNet风格迁移网络，由STNet风格迁移网络产生卸妆后的输出图像步骤6、利用风格迁移网络处理卸妆后的输出图像或直接处理不带妆容的具有较高还原清晰度的图像将待风格迁移网络处理的图像进一步定义为素颜图像x∈[0,1]
H
×
W
×3；将步骤2获得的引导图像或者用户自定义的带妆容图像作为参考带妆图像y∈[0,1]
H
×
W
×3；风格迁移网络先采用GAN生成式对抗网络对输入的素颜图像x以及参考带妆图像y进行基于DMT的插值妆容迁移，通过控制权重大小α∈[0,1]进行插值妆容迁移，达到调节妆容浓淡程度的目的；再利用VAE变分自编码器进行局部优化。
2.如权利要求1所述的一种自适应特征融合恢复及混合妆容迁移重组方法，其特征在于，在所述步骤2之后，并在所述步骤3之前还包括：利用MLS滑动最小二乘法和AdaIN模块在特征空间中对引导图像进行空间对齐和照明转换。3.如权利要求2所述的一种自适应特征融合恢复及混合妆容迁移重组方法，其特征在于，利用MLS滑动最小二乘法及AdaIN模块对引导图像进行处理包括以下步骤：将选定的引导图像的特征和标记点分别表示为F
g
、L
g
，原始输入图像I
d
的特征和标记点记作F
d
、L
d
，引入位置对角矩阵W
p
，对于W
p
对角线上第m个元素W
p
(m,m)有其中，表示原始输入图像的第m个标记点；根据公式得到位置仿射矩阵M
p
，为L
d
的齐次表示，然后进行双线性插值后得到引导图像根据输入图像的扭曲特征，记作F
g,w
；通过AdaIN模块将经过MLS处理后的扭曲特征F
g,w
转化为原始输入图像I
d
的风格，即光照效果，合成具有原始输入图像I
d
风格的输出图像，从而经过AdaIN模块处理后得到特征F
g,w,a
和原始输入图像I
d
的特征F
d
在空间和风格上图像对齐。4.如权利要求1所述的一种自适应特征融合恢复及混合妆容迁移重组方法，其特征在于，所述步骤2包括以下步骤：运用人脸特征点检测，对于样本图像集中的每张样本图像以及原始输入图像I
d
，检测出M个特征点；分别计算输入原始输入图像I
d
与样本图像集中各样本图像的对应特征点之间的加权仿射距离之和：设输入原始输入图像I
d
与样本图像的所有M个特征点的加权仿射距离之和为则有式中，w
m
为原始输入图像I
d
与样本图像中第m个特征点的加权仿射距离，w
m
为赋予第m个特征点的权重，根据图像间表情姿势差异，给每个特征点赋予不同的权重；列举所有样本图像，在前向传播中得到M个特征点与原始输入图像I
d
对应特征点间具有最小仿射距离和的样本图像引入辅助损失，通过反向传播算法更新特征点权重值，反复迭代后，找出样本图像集中最佳的样本图像作为引导图像。5.如权利要求1所述的一种自适应特征融合恢复及混合妆容迁移重组方法，其特征在于，将图像定义为带妆容的输入图像y
r
，则所述步骤5包括以下步骤：步骤501、将输入图像y
r
输入IDNet特征提取网络，IDNet特征提取网络利用编码瓶颈结构区分输入图像y

【专利技术属性】
技术研发人员：李宇苗，李鹏，
申请(专利权)人：陕西师范大学，
类型：发明
国别省市：