一种人脸表情图像的生成方法及相关设备技术

本发明专利技术公开了一种人脸表情图像的生成方法及相关设备，所述方法包括：获取原始人脸图像和目标表情标签，并对原始人脸图像和目标表情标签进行表情特征编码，得到原始表情风格编码和目标表情风格编码；根据原始表情风格编码对原始人脸图像中的原始表情信息与原始人脸信息进行解耦，得到原始人脸图像的目标身份信息；将所述目标表情风格编码和所述目标身份信息进行表情特征解码，得到目标表情图像

【技术实现步骤摘要】
一种人脸表情图像的生成方法及相关设备


[0001]本专利技术涉及图像处理
，尤其涉及一种人脸表情图像的生成方法
、
系统
、
终端及计算机可读存储介质
。

技术介绍

[0002]面部表情对于表达人类情感的重要性不言而喻，人脸表情编辑受到研究者的广泛关注
。
人脸表情编辑是指将人脸图像的源表情编辑为目标表情，且保持人脸图像身份的一致性
。
表情属性是细粒度的人脸属性，表情特征和身份特征都集中在五官区域，因此表情编辑是人脸编辑中的一大难点
。
在人脸表情编辑中，当输入图像原始表情与目标表情存在较大差异时，输出图像上往往会出现伪影，大幅度降低了生成样本的视觉效果
。
另外，近些年来，基于生成对抗网络的人脸编辑取得了很大的发展，涌现了如
StarGAN、AttGAN、GANimation、Cascade EF
‑
GAN
和
StarGAN
‑
v2
等优秀的模型
。
在图像到图像转换
(Image
‑
to
‑
Image)
的人脸表情编辑中，编码器
‑
解码器框架能够更好的保留身份信息，因此该框架被广泛应用于人脸表情编辑网络模型如
GANimation、Cascade EF
‑
GAN
中
。
人脸表情属性编辑的难点在于编辑表情的同时保持身份不变
。
由于表情特征和身份特征都集中在五官区域，五官形状看似很细微的改变，却容易对图像的身份造成较大的影响
。
因此人脸表情合成是一个具有挑战性的任务
。
同时，编码器
‑
解码器网络框架在下采样时会造成细微身份信息的损耗
。
[0003]为了正确编辑表情和保持身份信息，现有技术会更关注于注意力机制分离表情与身份
。GANimation
是一个特定于人脸表情编辑的统一网络框架
。GANimation
基于注意力机制学习目标表情相关区域的掩码和目标表情的颜色以及结构信息
。
通过所学习到的掩码，生成器有选择的计算更改目标表情相关区域，并且保留了与表情无关的区域
。
由于表情特征和身份特征都集中在五官区域，因此模型难以学习到准确的目标表情相关区域
。
因此
GANimation
在五官与面部交叠的区域倾向于产生伪影，并且在大跨度表情编辑中不仅产生伪影，也存在目标表情失效的问题
。
其中，大跨度表情编辑是指目标表情与原始表情存在较大差异的表情编辑
。
[0004]为了解决大跨度表情编辑中存在的异常问题，现有技术中一般会采用统一的模型
Cascade EF
‑
GAN
，渐进式的对大跨度表情进行逐步编辑
。
首先，
Cascade EF
‑
GAN
也使用局部注意力机制学习眼睛
、
鼻子以及嘴巴等与表情高度相关的区域，进而与表情无关的区域分离
。
通过结合全局注意力和局部注意力掩码，生成器保留了更多的身份信息，并且大量减少伪影
。
但这种方法需要局部信息的先验知识，并且只适用于正脸数据，具有一定的局限性
。
为了解决大跨度表情编辑的异常样本问题，
Cascade EF
‑
GAN
将大跨度的表情编辑分解为多个小跨度的表情编辑任务，渐进的实现大跨度表情编辑
。
生成器会将上一个小跨度输出图像作为下一个小跨度表情编辑的输入，经过三次编辑，得到了最终的输出
。
这种渐进式的策略能够更好的保留身份相关信息和面部结构，减少伪影的产生，稳定了大跨度表情编辑效果
。
[0005]虽然
Cascade EF
‑
GAN
提供了一个大跨度表情编辑的思路，但表情编辑在许多难样本上的表现依旧不理想
。
当输入样本具有较大的角度
(
侧脸
、
仰头或遮挡非对齐
)
时，现有的模型依旧倾向于在表情相关的区域产生较多的伪影
。
同时，身份信息的保留也是表情编辑任务的一大难点
。
这是因为生成器在特征空间很难将表情线索与身份信息完全分离
。
因此，表情和身份的耦合仍然是正确合成目标表情并保持身份信息的主要挑战
。
[0006]为了补充下采样网络造成的信息损耗，一些神经网络使用跳跃连接
(Skip Connection)
来保留更多的图像结构和人脸特征
。
人脸通用属性编辑神经网络
AttGAN
使用跳跃连接将编码器中间层的特征输入解码器的对应层中，进而补充图像的信息
。
之后，
STGAN
通过实验证明，生成器中跳跃连接层越多，保留的人脸特征就越多
。
相对的，人脸属性编辑样本的准确度就会大幅度下降
。
这是由于编码器中的特征包含属性相关特征和属性无关特征
。
而与原始属性相关的特征输入到解码器中可能会干扰目标属性的正确合成，从而导致伪影异常
。
[0007]GANimation
和
Cascade EF
‑
GAN
都使用注意力机制分离表情相关区域和无关区域，但注意力机制在细粒度属性上具有一定的局限性
。
同时，现有技术在补充下采样网络造成的信息损耗时，无法分离身份和表情信息，干扰模型最终的输出结果
。
[0008]因此，现有技术还有待于改进和发展
。

技术实现思路

[0009]本专利技术的主要目的在于提供一种人脸表情图像的生成方法
、
系统
、
终端及计算机可读存储介质，旨在解决现有技术中对人脸表情图像进行表情编辑时，无法将人物表情信息和人物身份信息进行分离，从而导致生成的目标人脸表情图像效果差的问题
。
[0010]为实现上述目的，本专利技术提供一种人脸表情图像的生成方法，所述人脸表情图像的生成方法包括如下步骤：
[0011]获取原始人脸图像和目标表情标签，并对所述原始人脸图像和所述目标表情标签进行表情特征编码，得到原始表情风格编码和目标表情风格编码；
[0012]根据所述原始表情风格编码对所述原始人脸图像中的原始表情信息与原始人脸信息进行解耦，得到所述原始人脸图像的目标身份信息；
[0013]将所述目标表情风格编码和所述目标身份信息进行表情特征解码，得到目标表情图像...

【技术保护点】

【技术特征摘要】
1.
一种人脸表情图像的生成方法，其特征在于，所述人脸表情图像的生成方法包括：获取原始人脸图像和目标表情标签，并对所述原始人脸图像和所述目标表情标签进行表情特征编码，得到原始表情风格编码和目标表情风格编码；根据所述原始表情风格编码对所述原始人脸图像中的原始表情信息与原始人脸信息进行解耦，得到所述原始人脸图像的目标身份信息；将所述目标表情风格编码和所述目标身份信息进行表情特征解码，得到目标表情图像
。2.
根据权利要求1所述的人脸表情图像的生成方法，其特征在于，所述获取原始人脸图像和目标表情标签，并对所述原始人脸图像和所述目标表情标签进行表情特征编码，得到原始表情风格编码和目标表情风格编码，具体包括：获取原始人脸图像和目标表情标签，将所述原始人脸图像输入至预训练的有监督风格表情编码器中，通过所述有监督风格表情编码器中的参考图像表情提取器对所述原始人脸图像进行表情风格提取，得到所述原始表情风格编码；将所述目标表情标签输入至预训练的有监督风格表情编码器中，通过所述有监督风格表情编码器中的表情映射器对所述目标表情标签进行映射表情提取，得到所述目标表情风格编码
。3.
根据权利要求2所述的人脸表情图像的生成方法，其特征在于，所述获取原始人脸图像和目标表情标签，并对所述原始人脸图像和所述目标表情标签进行表情特征编码，得到原始表情风格编码和目标表情风格编码，之后还包括：将所述原始表情风格编码和所述目标表情风格编码输入至所述有监督风格表情编码器中的表情分类器中，分别得到所述原始表情风格编码对应的第一多维向量和所述目标表情风格编码对应的第二多维向量；分别计算所述第一多维向量和所述第二多维向量与所述目标表情标签之间的交叉熵损失，并通过控制所述交叉熵损失的极小化使所述监督风格表情编码器和原始表情风格编码正确表示所述目标表情图像
。4.
根据权利要求1所述的人脸表情图像的生成方法，其特征在于，所述根据所述原始表情风格编码对所述原始人脸图像中的原始表情信息与原始人脸信息进行解耦，得到所述原始人脸图像的目标身份信息，具体包括：将所述原始人脸图像输入至表情生成模型中的特征编码器中，得到所述原始人脸图像的原始表情信息和原始人脸信息，并根据所述原始表情风格编码监督所述原始人脸图像中所述原始表情信息和所述原始人脸信息的解耦过程；计算所述原始表情信息的协方差矩阵，并将所述协方差矩阵与所述原始人脸信息进行矩阵相乘，得到表情风格特征；将所述表情风格特征与所述原始人脸信息进行残差计算，得到身份内容特征；将所述身份内容特征与所述表情风格特征进行正交分解，并在正交分解后...

【专利技术属性】
技术研发人员：彭智彬，解为成，路文雅，沈琳琳，
申请(专利权)人：深圳大学，
类型：发明
国别省市：