实时皮肤妆容迁移方法、装置、电子设备和可读存储介质制造方法及图纸

本申请的实施例提供了一种实时皮肤妆容迁移方法、装置、电子设备和可读存储介质，涉及图像处理技术领域。该方法利用包括妆容的参考图像和不包括妆容的原始图像，对预先构建的包括融合网络和特征提取网络的皮肤妆容迁移网络进行训练得到皮肤妆容迁移模型，使用时将待处理图像及目标图像输入皮肤妆容迁移模型即可得到结果图像。如此，利用结构简单且小巧的皮肤妆容迁移模型进行皮肤妆容迁移，可在保证结果图像的妆容自然逼真的前提下，在移动端实现实时皮肤妆容迁移。

【技术实现步骤摘要】
实时皮肤妆容迁移方法、装置、电子设备和可读存储介质
本申请涉及图像处理
，具体而言，涉及一种实时皮肤妆容迁移方法、装置、电子设备和可读存储介质。
技术介绍
在美颜软件必不可少的今天，自动化妆已经深入了每一个拍照、直播甚至是购物软件中。貌美如花的背后是人工智能和视觉技术的不断发展，面部妆容迁移是其中一项重要的技术，可将目标图像的化妆信息迁移到没有化妆的照片上。目前常采用的传统实时皮肤妆容迁移方法，主要将用户图和模特图分为多个层次，例如，脸部结构、颜色和亮度等，每个层次通过传统的颜色迁移、结构变换等方法变换到用户图，但是这种方式得到的结果，往往有很强的“假面感”，同时，还具有在手机等移动端上运行速度慢的问题。目前还可采用深度学习实现妆容迁移，该方法主要将脸部皮肤区域分为多个区域，然后每个区域单独设计一个网络进行迁移，但是这样会导致整体效果差，各个区域过渡不好，妆容不够逼真，在手机等移动端上无法实时迁移，甚至还存在无法在手机等移动端上使用的问题。如何在保证妆容自然逼真的前提下，在移动端实现实时皮肤妆容迁移是值得研究的问题本文档来自技高网...

【技术保护点】
1.一种实时皮肤妆容迁移方法，其特征在于，所述方法包括：/n获取待处理图像及目标图像；/n将所述待处理图像及所述目标图像输入皮肤妆容迁移模型进行妆容迁移，得到妆容迁移后的结果图像，其中，所述结果图像为包括目标图像中的妆容的所述待处理图像，所述皮肤妆容迁移模型是将包括妆容的参考图像和不包括妆容的原始图像共同作为训练样本，对预先构建的包括融合网络和特征提取网络的皮肤妆容迁移网络进行训练得到的。/n

【技术特征摘要】
1.一种实时皮肤妆容迁移方法，其特征在于，所述方法包括：
获取待处理图像及目标图像；
将所述待处理图像及所述目标图像输入皮肤妆容迁移模型进行妆容迁移，得到妆容迁移后的结果图像，其中，所述结果图像为包括目标图像中的妆容的所述待处理图像，所述皮肤妆容迁移模型是将包括妆容的参考图像和不包括妆容的原始图像共同作为训练样本，对预先构建的包括融合网络和特征提取网络的皮肤妆容迁移网络进行训练得到的。


2.根据权利要求1所述的实时皮肤妆容迁移方法，其特征在于，所述皮肤妆容迁移模型通过以下步骤训练得到：
获取包括妆容的参考图像和不包括妆容的原始图像；
将所述参考图像和所述原始图像共同作为训练样本，输入所述融合网络，利用所述融合网络对所述参考图像和所述原始图像进行特征融合，得到中间图像；
将所述中间图像输入所述特征提取网络，利用所述特征提取网络对所述中间图像进行特征提取，得到初步结果图像，其中，所述初步结果图像为包括所述参考图像中的妆容的所述原始图像；
依据所述初步结果图像、所述参考图像及所述原始图像，计算预设的损失函数的损失值；
依据所述损失值更新所述皮肤妆容迁移网络的参数，直至重新计算得到的损失值满足预设条件，得到训练后的所述皮肤妆容迁移模型。


3.根据权利要求2所述的实时皮肤妆容迁移方法，其特征在于，所述融合网络包括第一特征提取子网络、第二特征提取子网络和融合子网络；
所述将所述参考图像和所述原始图像共同作为训练样本，输入所述融合网络，利用所述融合网络对所述参考图像和所述原始图像进行特征融合，得到中间图像的步骤包括：
将所述原始图像作为训练样本，输入所述第一特征提取子网络，利用所述第一特征提取子网络对所述原始图像进行特征提取，得到原始特征图；
将所述参考图像作为训练样本，输入所述第二特征提取子网络，利用所述第二特征提取子网络对所述参考图像进行特征提取，得到参考特征图；
将所述原始特征图及所述参考特征图输入所述融合子网络，利用所述融合子网络对所述原始特征图及所述参考特征图进行特征融合，得到所述中间图像。


4.根据权利要求3所述的实时皮肤妆容迁移方法，其特征在于，所述特征提取网络包括深度可分离卷积子网络、跳接子网络及第三特征子网络；
所述将所述中间图像输入所述特征提取网络，利用所述特征提取网络对所述中间图像进行特征提取，得到初步结果图像的步骤包括：
将所述中间图像输入所述深度可分离卷积子网络，利用所述深度可分离卷积子网络对所述中间图像进行特征提取，得到第一图像；
将所述第一图像输入所述跳接子网络，利用所述跳接子网络对所述第一图像进行特征提取，并将所述原始特征图与特征提取后的第一图像进行特征融合，得到第二图像；
将所述第二图像输入所述第三特征子网络，利用所述第三特征子网络对所述第二图像进行特征提取，得到所述初步结果图像。


5.根据权利要求2所述的实时皮肤妆容迁移方法，其特征在于，所述原始图像包括人脸图像及人脸掩膜图像，所述损失函数包括第一局部损失函数、第二局部损失函数及全局损失函数；
所述依据所述初步结果图像、所述参考图像及所述原始图像，计算预设的损失函数的损失值的步骤包括：
利用所述初步结果图像、所述人脸掩膜图像及所述参考图像，计算所述第一局部损失函数的第一输出值；
利用所述初步结果图像与所述参考图像，计算所述第二局部损失函数的第二输出值；
利用所述初步结果图像与所述原始图像，计算所述全局损失函数的第三输出值；
计算所述第一输出值、所述第二输出值及所述第三输出值的加权和，得到所述损失值。


6.根据权利要...

【专利技术属性】
技术研发人员：陈进山，周铭柯，李启东，邹嘉伟，李志阳，
申请(专利权)人：厦门美图之家科技有限公司，
类型：发明
国别省市：福建;35