训练肤色迁移模型的方法、生成美肤图像的方法及相关装置制造方法及图纸

本申请涉及一种训练肤色迁移模型的方法、生成美图图像的方法及相关装置，该训练方法包括，获取训练集，通过编码网络对源图像和参照图像的皮肤区域进行编码，分别得到多个尺寸的第一特征图和第二特征图。通过融合网络将多个第一特征图中尺寸最小的特征图和第二特征图进行融合，得到第三特征图。将第三特征图输入解码网络的第一级解码层，进行上采样操作，得到输出特征图。将输出特征图与目标特征图进行融合操作，得到第一级肤色迁移特征图。将第一级肤色迁移特征图输入至下一级解码层，进行逐层的上采样操作和融合操作，直到得到与源图像尺寸相同的输出图像，该输出图像为肤色迁移图像。通过上述方法可以实现更准确、自然和稳定的肤色迁移效果。的肤色迁移效果。的肤色迁移效果。

【技术实现步骤摘要】
训练肤色迁移模型的方法、生成美肤图像的方法及相关装置


[0001]本申请涉及图像处理
，特别涉及一种训练肤色迁移模型的方法、生成美图图像的方法及相关装置。

技术介绍

[0002]在图像处理领域，肤色迁移是一个重要的研究课题。肤色迁移目的是将一张图像中的肤色(通常是人脸或身体皮肤)改变为另一张图像中的肤色。换句话说，肤色迁移是将源图像中的肤色风格应用到目标图像中，使目标图像呈现与源图像相似的肤色特征，以实现人物肖像的美化、修饰等。这种技术广泛应用于美颜、人脸编辑和虚拟化妆等领域。
[0003]现有方法通常利用直方图匹配方法来进行肤色迁移，然而，直方图匹配在肤色迁移方面存在一些缺点，例如对极端光照条件较为敏感，当图像是在光照不足或光照不均的情况下拍摄，图像肤色区域可能偏暗或亮度分布不均，直方图匹配无法很好的处理亮度偏暗或不均的区域，导致肤色迁移效果不理想，缺乏稳定性。

技术实现思路

[0004]本申请实施例提供一种训练肤色迁移模型的方法、生成美肤图像的方法和相关装置，能改善肤色迁移效果，提高稳定性。
[0005]第一方面，本申请实施例提供一种训练肤色迁移模型的训练方法，该肤色迁移模型包括编码网络、融合网络和解码网络，该方法包括：
[0006]获取训练集，所述训练集包括多个训练数据，所述训练数据包括源图像和参照图像，所述源图像为拍照设备在不同光照环境下拍摄得到的原始人体图像，所述源图像为拍照设备在不同光照环境下拍摄得到的原始人体图像，所述参照图像为经美化处理后的人体图像；/>[0007]通过所述编码网络对所述源图像的皮肤区域进行编码，以获得多个尺寸的第一特征图，以及，通过所述编码网络对所述参照图像的皮肤区域进行编码，以获得第二特征图，其中，所述第二特征图的尺寸与所述多个第一特征图中尺寸最小的特征图的尺寸相同；
[0008]通过所述融合网络融合所述多个第一特征图中尺寸最小的特征图和所述第二特征图，得到第三特征图；
[0009]将所述第三特征图输入所述解码网络的第一级解码层进行上采样操作，得到输出特征图，将所述输出特征图与目标特征图进行融合操作，得到第一级肤色迁移特征图，将所述第一级肤色迁移特征图输入至下一级解码层，进行逐层的所述上采样操作及所述融合操作，直到得到尺寸与所述源图像尺寸相同的输出图像，其中，所述目标特征图为所述多个第一特征图中尺寸与所述输出特征图尺寸相同的特征图，所述输出图像为肤色迁移图像；
[0010]采用损失函数计算所述肤色迁移图像的损失，并根据所述损失对所述肤色迁移模型进行迭代训练，直到所述肤色迁移模型收敛，得到所述肤色迁移模型。
[0011]在一些实施例中，所述通过所述融合网络融合所述多个第一特征图中尺寸最小的
特征图和所述第二特征图，得到第三特征图，包括：
[0012]对第四特征图进行卷积运算，提取所述第四特征图的均值特征和方差特征，以及，对所述第二特征图进行卷积运算，提取所述第二特征图的均值特征和方差特征；其中，所述第四特征图为所述第四特征图为所述多个第一特征图中尺寸最小的特征图；
[0013]融合所述第四特征图的所述均值特征、所述第四特征图的所述方差特征、所述第二特征图的所述均值特征和所述第二特征图的所述方差特征，得到第五特征图；
[0014]对所述第五特征图进行卷积运算，获得所述第三特征图。
[0015]在一些实施例中，融合所述第四特征图的所述均值特征、所述第四特征图的所述方差特征、所述第二特征图的所述均值特征和所述第二特征图的所述方差特征的融合公式为：
[0016][0017]其中，SV为所述第四特征图，TV为所述第二特征图，μ(SV)为所述第四特征图的均值特征，σ(SV)为所述第四特征图的方差特征，μ(TV)为所述第二特征图的均值特征，σ(TV)为所述第二特征图的方差特征，IN(SV，TV)为所述第五特征图。
[0018]在一些实施例中，所述方法还包括：
[0019]对所述源图像和所述参照图像分别进行人体解析，获得所述源图像的人体解析图和所述参照图像的人体解析图；
[0020]分别提取所述源图像的人体解析图和所述参照图像的人体解析图中的皮肤区域，获得所述源图像的皮肤区域，以及，所述参照图像的皮肤区域。
[0021]在一些实施例中，所述损失函数为：
[0022]L＝λ1L
percept
+λ2L
skin
[0023]其中，所述λ1和λ2为超参数，所述L
percept
为肤色感知损失，所述肤色感知损失反映所述源图像和所述肤色迁移图像之间肤色相似程度的差异，所述L
skin
为肤色直方图损失，所述肤色直方图损失反映所述源图像、所述参照图像和所述肤色迁移图像之间肤色分布的差异。
[0024]在一些实施例中，所述肤色感知损失L
percept
为：
[0025][0026]R
i
＝C
i
W
i
H
i
[0027]其中，所述V为卷积神经网络的层数，所述R
i
为卷积神经网络第i层中的元素数，所述C
i
、W
i
、H
i
分别为卷积神经网络第i层特征图的数量、宽度和长度，所述F
j
为尺寸大小为j的特征图，所述S为源图像，所述Y为肤色迁移图像，所述F
j
(S)为尺寸大小为j的源图像的特征图，所述F
j
(Y)为尺寸大小为j的肤色迁移图像的特征图。
[0028]在一些实施例中，所述肤色直方图损失L
skin
为：
[0029][0030]其中，所述T为参照图像，所述P
T
为所述参照图像的皮肤区域，所述Y为肤色迁移图像，所述P
s
为所述源图像的皮肤区域，p
‑
(T*P
T
)为所述参照图像的肤色的概率分布，p
+
(Y*P
s
)为所述肤色迁移图像的肤色的概率分布。
[0031]第二方面，本申请提供一种生成美肤图像的方法，该方法包括：
[0032]获取用户图像和美肤参照图像，所述用户图像为拍照设备在不同光照环境下拍摄得到的原始人体图像，所述美肤参照图像为经美化处理后的人体图像；
[0033]将用户图像的皮肤区域和美肤参照图像的皮肤区域输入肤色迁移模型，通过所述编码网络对所述用户图像的皮肤区域进行编码，以获得多个尺寸的用户图像特征图，以及，通过所述编码网络对所述美肤参照图像的皮肤区域进行编码，以获得美肤参照图像特征图，其中，所述美肤参照图像特征图的尺寸与所述多个用户图像特征图中尺寸最小的特征图的尺寸相同；
[0034]通过所述融合网络融合所述多个用户图像特征图中尺寸最小的特征图和所述美肤参照图像特征图，得到融合特征图；
[本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种训练肤色迁移模型的方法，其特征在于，所述肤色迁移模型包括编码网络、融合网络和解码网络，所述方法包括：获取训练集，所述训练集包括多个训练数据，所述训练数据包括源图像和参照图像，所述源图像为拍照设备在不同光照环境下拍摄得到的原始人体图像，所述参照图像为经美化处理后的人体图像；通过所述编码网络对所述源图像的皮肤区域进行编码，以获得多个尺寸的第一特征图，以及，通过所述编码网络对所述参照图像的皮肤区域进行编码，以获得第二特征图，其中，所述第二特征图的尺寸与所述多个第一特征图中尺寸最小的特征图的尺寸相同；通过所述融合网络融合所述多个第一特征图中尺寸最小的特征图和所述第二特征图，得到第三特征图；将所述第三特征图输入所述解码网络的第一级解码层进行上采样操作，得到输出特征图，将所述输出特征图与目标特征图进行融合操作，得到第一级肤色迁移特征图，将所述第一级肤色迁移特征图输入至下一级解码层，进行逐层的所述上采样操作及所述融合操作，直到得到尺寸与所述源图像尺寸相同的输出图像，其中，所述目标特征图为所述多个第一特征图中尺寸与所述输出特征图尺寸相同的特征图，所述输出图像为肤色迁移图像；采用损失函数计算所述肤色迁移图像的损失，并根据所述损失对所述肤色迁移模型进行迭代训练，直到所述肤色迁移模型收敛，得到所述肤色迁移模型。2.根据权利要求1所述的方法，其特征在于，所述通过所述融合网络融合所述多个第一特征图中尺寸最小的特征图和所述第二特征图，得到第三特征图，包括：对第四特征图进行卷积运算，提取所述第四特征图的均值特征和方差特征，以及，对所述第二特征图进行卷积运算，提取所述第二特征图的均值特征和方差特征；其中，所述第四特征图为所述多个第一特征图中尺寸最小的特征图；融合所述第四特征图的所述均值特征、所述第四特征图的所述方差特征、所述第二特征图的所述均值特征和所述第二特征图的所述方差特征，得到第五特征图；对所述第五特征图进行卷积运算，获得所述第三特征图。3.根据权利要求2所述的方法，其特征在于，融合所述第四特征图的所述均值特征、所述第四特征图的所述方差特征、所述第二特征图的所述均值特征和所述第二特征图的所述方差特征的融合公式为：其中，SV为所述第四特征图，TV为所述第二特征图，μ(SV)为所述第四特征图的均值特征，σ(SV)为所述第四特征图的方差特征，μ(TV)为所述第二特征图的均值特征，σ(TV)为所述第二特征图的方差特征，IN(SV,TV)为所述第五特征图。4.根据权利要求1所述的方法，其特征在于，所述方法还包括：对所述源图像和所述参照图像分别进行人体解析，获得所述源图像的人体解析图和所述参照图像的人体解析图；分别提取所述源图像的人体解析图和所述参照图像的人体解析图中的皮肤区域，获得所述源图像的皮肤区域，以及，所述参照图像的皮肤区域。
5.根据权利要求1
‑
4任一项所述的方法，其特征在于，所述损失函数为：L＝λ1L
percept
+λ2L
skin
其中，所述λ1和λ2为超参数，所述L
percept
为肤色感知损失，所述肤色感知损失反映所述源图像和所述肤色迁移图像之间肤色相似程度的差异，所述L
skin
为肤色直方图损失，所述肤色直方图损失反映所述源图像、所述参照图...

【专利技术属性】
技术研发人员：陈仿雄，
申请(专利权)人：深圳数联天下智能科技有限公司，
类型：发明
国别省市：