基于对抗生成的非配对面对面表情编辑方法技术

本发明专利技术涉及一种基于对抗生成的非配对面对面表情编辑方法，属于深度学习的图像生成领域。该方法通过专门的表情分割模型从人脸中提取与表情相关的人脸轮廓图，使得输入到生成器的表情约束更为准确，然后利用改进的表情一致性损失和注意力机制进一步的保证编辑后的表情能保留更多的身份信息，且同时不失真。且同时不失真。且同时不失真。

【技术实现步骤摘要】
基于对抗生成的非配对面对面表情编辑方法


[0001]本专利技术属于深度学习的图像生成领域，涉及一种基于对抗生成的非配对面对面表情编辑方法。

技术介绍

[0002]表情编辑在早期主要是通过3D人脸纹理模型、特征对应或光流图等信息扭曲人脸图像，或利用人脸补丁合成目标图像。这些方法虽然可以合成清晰的人脸图像，但是很难合成从未见过的表情，传统的表情编辑模型非常复杂且泛化能力和鲁棒性较差，而后随着GAN在深度学习的应用以及在图像生成方面的良好表现，表情编辑向着基于数据驱动、鲁棒性和泛化能力强的方向发展。在表情编辑任务中，需要的不仅仅是生成一张人脸，还要在生成表情的同时将人脸的表情改变，因此表情编辑比图像生成更具有挑战，复杂程度更高。同时，生成的人脸也有可能会面临损失过多的身份信息的问题。
[0003]根据表情编辑约束的不同，针对表情编辑任务可以分为三类：基于表情分类的表情编辑、基于关键点或者人脸轮廓线的表情编辑以及基于AU的表情编辑。基于表情分类的表情编辑是指将人脸按照所属的表情分好类，然后用one
‑
hot编码去表示这些表情的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于对抗生成的非配对面对面表情编辑方法，其特征在于，该方法具体包括以下步骤：S1：首先分析与表情有关的关键轮廓点，制作出表情分割数据集，然后用Unet训练出表情分割模型UnetEmo；S2：利用表情分割模型UnetEmo从目标表情人脸It提取人脸轮廓图Et，以及从待编辑表情人脸Is提取人脸轮廓图Es；S3：将Es和Is做点积后得到的Ks，以及Is和Et输入到生成模型IPEF
‑
GAN中，得到输出通道数为3的特征结果FetureIt以及对应的通道数为1的01掩码mask
t
；S4：将输入的Is经过小波采样层LowPass后，选择其中的低通特征LowPassFeture与FetureIt通过注意力机制函数functionAttention(LowPassFeture,mask
t
,FetureIt)进行融合得到PreIs；S5：将目标表情人脸换成Is，待编辑表情人脸换成It，重复步骤S2～S4，得到生成结果PreIt；S6：将目标表情人脸换成Is，待编辑表情人脸换成PreIt，重复步骤S2～S4，得到生成结果Is
cycle
；S7：将目标表情人脸换成It，待编辑表情人脸换成PreIs，重复步骤S2～S4，得到生成结果It
cycle
；S8：将目标表情人脸和待编辑表情人脸都换成Is，重复重复步骤S2～S4，得到生成结果Is
emo
；S9：将目标表情人脸和待编辑表情人脸都换成It，重复重复步骤S2～S4，得到生成结果It
emo
；S10：将步骤S6得到的生成结果Is
cycle
、步骤S7得到生成结果It
cycle
以及Is和It作为图像重建损失的输入；S11：将步骤S8得到的生成结果Is
emo
、步骤S9得到的生成结果It
emo
以及Is和It作为表情一致性损失函数的输入；S12：将步骤S4得到的生成结果PreIs、步骤S5得到的生成结果PreIt以及Is和It分别输入到训练好的FaceNet网络，得到输出编码Em
PreIs
、Em
PreIt
、Em
Is
、Em
It
，并将它们一起作为人脸身份损失函数的输入；S13：将步骤S5中得到的结果PreIt和Is分别输入到鉴别器D，构造图像对抗损失将步骤S4中得到的结果PreIs和It分别输入到鉴别器D，构造图像对抗损失并将和进行组合得到总的图像对抗损失S14：组合步骤S10～S13的损失函数，得到最终的优化目标函数；S15：利用Adam算法对优化目标函数求解，得到具有最优解的IPEF
‑
GAN模型。2.根据权利要求1所述的基于对抗生成的非配对面对面表情编辑方法，其特征在于，步骤S4中，构建的注意力机制函数functionAttention(LowPassFeture,mask
t
,FetureIt)的表达式为：
...

【专利技术属性】
技术研发人员：米建勋，邹立志，
申请(专利权)人：重庆邮电大学，
类型：发明
国别省市：