基于隐藏变量解耦的人脸图像局部特征迁移网络及方法技术

本发明专利技术公开了一种基于隐藏变量解耦的人脸图像局部特征迁移网络及方法，首先提出了一个隐藏变量解耦的局部妆容迁移和移除的生成对抗神经网络框架；在网络结构的基础上，创新的提出了一个可以用于训练该网络的局部妆容迁移损失函数，该损失函数包括局部妆容损失，局部不变损失、局部与全局妆容不变损失函数；将未化妆的人脸图片看做化妆人脸图片的特例情况，本方法将妆容迁移和妆容移除作为统一问题进行处理，得到了多种妆容移除效果。

【技术实现步骤摘要】
基于隐藏变量解耦的人脸图像局部特征迁移网络及方法
本专利技术属于深度学习与人工智能
，涉及一种图像局部特征迁移与移除网络及方法，具体涉及一种基于隐藏变量解耦的人脸图像局部特征迁移与移除网络及方法，所用网络属于生成对抗网络。
技术介绍
如何针对图像局部特征进行改变(迁移新特征与移除新特征)，目前越来越广，例如：随着生活水平的不断提高，女性对美的追求越来越强烈。化妆成了大多数女性出门之前的必备步骤。现实生活中经常会出现如下两种场景：场景一：当一个女生看到一个漂亮妆容的时候，经常会想象自己化了这个妆容效果会怎么样。然而化妆是费时的，要想看到化妆后的结果，可能要花费近一个小时的时间和精力。然而，化完妆后又可能因为该妆容不适合自己而苦恼。因此推出一个试妆模型是十分必要的。场景二：女生可能只对一个妆容的局部妆容感兴趣，比如眼部妆容。因此仅仅做到全局的妆容的迁移是不够的，还需要能够达到局部妆容迁移的效果。为了解决试妆和局部试妆问题，研究学者提出了许多有效的方法。传统方法中基于人脸特征点定位和图像分解，这种方法中需要高精度本文档来自技高网...

【技术保护点】
1.一种基于隐藏变量解耦的人脸图像局部特征迁移网络，其特征在于：包括一个内容编码器E

【技术特征摘要】
1.一种基于隐藏变量解耦的人脸图像局部特征迁移网络，其特征在于：包括一个内容编码器EC、一个嘴部妆容编码器EL、眼部妆容编码器ES、脸部妆容编码器EF、解码器G，以及三个判别器分别为DX、DY、DXY；其中，编码器和解码器合统称为生成器；
所述内容编码器EC用来提取人脸妆容无关特征，嘴部妆容编码器EL用来提取嘴部妆容信息，眼部妆容编码器ES用来提取眼部妆容信息，脸部妆容编码器EF用来提取脸部妆容信息；解码器G根据输入的信息生成不同的图片；判别器DX、DY、DXY用来判别生成的结果是否来自对应的真实样本域；DX用来区分是来自生成器生成的假的妆容移除的样本还是未化妆图片域中真实的样本，DY用来区分是来自生成器生成的假的妆容迁移的样本还是化妆图片域中真实的样本，DXY用来区分是来自生成器生成的图片还是未化妆图片域和化妆图片域共同的真实的样本。


2.一种基于隐藏变量解耦的人脸图像局部特征迁移方法，其特征在于，包括以下步骤：
步骤1：搭建人脸图像局部特征迁移与移除网络架构，用损失函数指导人脸图像局部特征迁移与移除网络进行训练，获得训练好的人脸图像局部特征迁移与移除网络；
所述人脸图像局部特征迁移与移除网络架构，包括一个内容编码器EC、一个嘴部妆容编码器EL、眼部妆容编码器ES、脸部妆容编码器EF、解码器G，以及三个判别器分别为DX、DY、DXY；
所述用损失函数指导人脸图像局部特征迁移与移除网络进行训练，具体包括以下子步骤：
步骤1.1：输入数据，编码器编码信息；
未化妆图片域记为X，未化妆图片实例记为xi，化妆图片域记为Y，化妆图片实例为记yj；首先分别提取图片xi和yj的内容信息和局部妆容信息，图片xi的内容信息Ci＝EC(xi)，图片xi的唇部妆容信息Li＝EL(xi)，图片xi的眼部妆容信息Si＝ES(xi)，图片xi的脸部妆容信息Fi＝EF(xi)；图片yj的内容信息Cj＝EC(yj)，图片yj的唇部妆容Lj＝EC(yj)，图片yj的眼部妆容信息Sj＝ES(yj)，图片yj的脸部妆容信息Fj＝EF(yj)；
步骤1.2：信息融合，解码器生成结果；
整体妆容迁移yitransfer＝G(Ci,Lj,Sj,Fj)，去妆结果xiremoval＝G(Ci,Lj,Sj,Fj)；局部妆容迁移结果，唇部妆容迁移结果yilip＝G(Ci,Lj,Si,Fi)，眼部妆容迁移结果yieye＝G(Ci,Li,Sj,Fi)，脸部妆容迁移结果yiface＝G(Ci,Li,Si,Fj)，同时进行图片自建将xiremoval,yitransfer再次输入到人脸图像局部特征迁移与移除网络中，得到结果
步骤1.3：计算损失函数，使用反向传播方法训练人脸图像局部特征迁移与移除网络；
生成器采用的损失函数由对抗损失函数...

【专利技术属性】
技术研发人员：熊盛武，孙朝阳，
申请(专利权)人：武汉理工大学，
类型：发明
国别省市：湖北;42