一种基于神经网络的智能仿妆系统及仿妆生成方法技术方案

本发明专利技术提供了一种基于神经网络的智能仿妆系统，该仿妆系统包括：面部属性编码器(FAEnc)，用于提取原图像和参考图像的特征图；妆容转移模块(MTM)，用于对参考图像的特征图进行处理；应用妆容解码器(MADec)，用于对所述原图像的特征图和所述妆容转移模块(MTM)输出的妆容矩阵进行解码处理，从而生成自然逼真的仿妆图像，在保留源人脸的面部细节的同时精准迁移妆容细节，解决了在仿妆生成任务中细节被丢失，只能复制整体妆容风格，不能精确地迁移妆容细节的问题。妆容细节的问题。妆容细节的问题。

【技术实现步骤摘要】
一种基于神经网络的智能仿妆系统及仿妆生成方法


[0001]本专利技术属于智能仿妆
，特别涉及一种基于神经网络的智能仿妆系统及仿妆生成方法。

技术介绍

[0002]现有技术中，通过将妆容风格视为颜色分布，导致空间信息忽略，有关妆容细节的高频信息被丢失，只能复制整体妆容风格，不能精确地转移妆容细节；通过传统的像素级交叉注意力来捕捉源图像和参照图像之间的对应关系，需要大量计算开销，限制了隐藏特征图的大小，导致颜色渗漏问题；在妆容转移过程中，由于图像被降采样为低分辨率的特征图，高频信息损失，导致在仿妆过程中应保持不变的细节属性发生变化。

技术实现思路

[0003]针对上述问题，本专利技术提供了一种基于神经网络的智能仿妆系统，以解决现有技术中，在仿妆生成任务中细节被丢失，只能复制整体妆容风格，不能精确地迁移妆容细节的问题。
[0004]根据本专利技术实施例的第一方面，提供了一种基于神经网络的智能仿妆系统，包括：
[0005]面部属性编码器(FAEnc)，用于提取原图像和参考图像的特征图；
[0006]妆容转移模块(MTM)，用于对参考图像的特征图进行处理；
[0007]应用妆容解码器(MADec)，用于对所述原图像的特征图和所述妆容转移模块(MTM)输出的妆容矩阵进行解码处理，从而生成仿妆图像。
[0008]优选地，所述所述面部属性编码器(FAEnc)，用于提取原图像的高分辨率特征图和低分辨率特征图、参考图像的高分辨率特征图和低分辨率特征图。
[0009]优选地，所述妆容转移模块(MTM)，包括第一注意力模块和滑窗注意力模块，其中：
[0010]第一注意力模块，用于对参考图像的低分辨率特征图进行处理，通过像素交叉注意力的方式将参考图像的低分辨率特征图与源图像人脸对齐，源图像上的每个位置都对应于参考图像上具有最相似特征的区域，所述参考图像的低分辨率特征图根据这些软像素对应关系进行变形；
[0011]滑窗注意力模块，用于将参考图像的高分辨率特征图与源图像人脸对齐。
[0012]优选地，所述滑窗注意力模块，用于将参考图像的高分辨率特征图与源图像人脸对齐包括：通过薄板样条变换，使参考图像的高分辨率特征图在空间上与源图像人脸粗略地对齐；
[0013]利用交错重叠的窗格来分割参考图像的高分辨率特征图，并多次应用所述交叉注意力；
[0014]通过基于位置的权重加权求和以输出平滑后的高分辨率妆容矩阵。
[0015]优选地，所述应用妆容解码器还用于将变形后的高分辨率妆容矩阵与源图像的高分辨率特征图进行元素相乘；
[0016]所述应用妆容解码器用于将变形后的低分辨率妆容矩阵与源图像的低分辨率特征图进行元素相乘。
[0017]优选地，所述应用妆容解码器，还用于将变形后的高分辨率妆容矩阵与源图像的高分辨率特征图进行元素相乘的结果与将变形后的低分辨率妆容矩阵与源图像的低分辨率特征图进行元素相乘的结果进行融合，并生成最终的仿妆图像。
[0018]优选地，所述应用妆容解码器，还用于通过线性插值操纵所述变形后的妆容矩阵来实现指定区域、可控浓度的妆容转移。
[0019]优选地，伪真实值：所述应用妆容解码器，还用于根据薄板样条变换、直方图匹配和线性退火法，通过从粗到细的方式，包括颜色匹配和细节匹配两个阶段，生成将参考图像的妆容转移到源图像人脸的伪真实值；
[0020]所述伪真实值用于监督所述神经网络生成器学到所需的映射，为妆容细节的生成提供额外的监督信号。
[0021]优选地，所述颜色匹配，包括：将面部区域划分为皮肤、嘴唇和眼周区域，对源图像和所述神经网络生成器所生成妆容转移后图像的相应区域，分别用直方图匹配，使其颜色分布与参考图像相应区域的颜色分布一致，将两个匹配结果用特定权重混合；
[0022]所述细节匹配，包括：将面部区域划分为皮肤、嘴唇和眼周区域，基于检测到的人脸关键点，将参考图像中的相应区域扭曲使得与源图像中相应的区域对齐，对齐后的参考图像相应区域与颜色匹配阶段获得的伪真实值以特定权重进行混合，并对边缘平滑处理。
[0023]优选地，所述线性退火法，包括：在颜色匹配阶段，逐渐减小混合权重以生成颜色更自然的伪真实值，在细节匹配阶段，在训练前期通过逐渐增加混合权重以增加目标难度，让所述神经网络生成器首先学习全局颜色分布，然后学习局部妆容细节，在训练后期阶段，减少混合权重以避免所述神经网络生成器学到人工痕迹。
[0024]根据本专利技术实施例的第二方面，提供一种仿妆生成方法，包括：
[0025]提取原图像和参考图像的特征图；
[0026]对参考图像的特征图进行处理；
[0027]对所述原图像的特征图和处理后的参考图像特征图进行解码处理，从而生成仿妆图像。
[0028]优选地，所述提取原图像和参考图像的特征图具体为：
[0029]提取原图像的高分辨率特征图和低分辨率特征图、参考图像的高分辨率特征图和低分辨率特征图。
[0030]优选地，所述对参考图像的特征图进行处理具体为：
[0031]对参考图像的低分辨率特征图进行处理，通过像素交叉注意力的方式将参考图像的低分辨率特征图与源图像人脸对齐，源图像上的每个位置都对应于参考图像上具有最相似特征的区域，所述参考图像的低分辨率特征图根据这些软像素对应关系进行变形；
[0032]将参考图像的高分辨率特征图进行窗格化处理，具体为：通过薄板样条变换，使参考图像的高分辨率特征图在空间上与源图像人脸粗略地对齐；利用交错重叠的窗格来分割参考图像的高分辨率特征图，并多次应用所述交叉注意力；通过基于位置的权重加权求和以输出平滑后的高分辨率妆容矩阵。
[0033]本专利技术至少具有如下的效果，
[0034]在仿妆生成任务中能够更加精确地迁移妆容细节的问题。
[0035]本专利技术的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本专利技术而了解。本专利技术的目的和其他优点可通过在说明书、权利要求书以及附图中所指出的结构来实现和获得。
附图说明
[0036]为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一个简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0037]图1是本专利技术仿妆系统一种实施例提供的示意图；
[0038]图2是本专利技术仿妆系统一种实施例提供的流程图；
[0039]图3是本专利技术仿妆系统的滑窗注意力模块的示意图。
具体实施方式
[0040]这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本专利技术相一致的所有实施方式。相反，它们仅是与如所附权利本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于神经网络的智能仿妆系统，其特征在于，所述仿妆系统包括：面部属性编码器(FAEnc)，用于提取原图像和参考图像的特征图；妆容转移模块(MTM)，用于对参考图像的特征图进行处理；应用妆容解码器(MADec)，用于对所述原图像的特征图和所述妆容转移模块(MTM)输出的妆容矩阵进行解码处理，从而生成仿妆图像。2.根据权利要求1所述的仿妆系统，其特征在于，所述面部属性编码器(FAEnc)，用于提取原图像的高分辨率特征图和低分辨率特征图、参考图像的高分辨率特征图和低分辨率特征图。3.根据权利要求1所述的仿妆系统，其特征在于，所述妆容转移模块(MTM)，包括第一注意力模块和滑窗注意力模块，其中：第一注意力模块，用于对参考图像的低分辨率特征图进行处理，通过像素交叉注意力的方式将参考图像的低分辨率特征图与源图像人脸对齐，源图像上的每个位置都对应于参考图像上具有最相似特征的区域，所述参考图像的低分辨率特征图根据软像素对应关系进行变形；滑窗注意力模块，用于将参考图像的高分辨率特征图与源图像人脸对齐。4.根据权利要求3所述的仿妆系统，其特征在于，所述滑窗注意力模块将参考图像的高分辨率特征图与源图像人脸对齐包括：通过薄板样条变换，使参考图像的高分辨率特征图在空间上与源图像人脸粗略地对齐；利用交错重叠的窗格来分割参考图像的高分辨率特征图，并多次应用所述交叉注意力；通过基于位置的权重加权求和以输出平滑后的高分辨率妆容矩阵。5.根据权利要求3或4所述的仿妆系统，其特征在于，所述应用妆容解码器还用于将变形后的高分辨率妆容矩阵与源图像的高分辨率特征图进行元素相乘；所述应用妆容解码器还用于将变形后的低分辨率妆容矩阵与源图像的低分辨率特征图进行元素相乘。6.根据权利要求5所述的仿妆系统，其特征在于，所述应用妆容解码器，还用于将变形后的高分辨率妆容矩阵与源图像的高分辨率特征图进行元素相乘的结果与将变形后的低分辨率妆容矩阵与源图像的低分辨率特征图进行元素相乘的结果进行融合，并生成最终的仿妆图像。7.根据权利要求1所述的仿妆系统，其特征在于，所述应用妆容解码器，还用于通过线性插值操纵变形后的妆容矩阵来实现指定区域、可控浓度的妆容转移。8.根据权利要求1所述的仿妆系统，其特征在于，还包括：所述应用妆容解码器，还用于根据薄板样条变换、直方图匹配和线性退火法，通...

【专利技术属性】
技术研发人员：杨晨煜，何婉榕，
申请(专利权)人：何婉榕，
类型：发明
国别省市：