一种基于生成对抗网络的面部表情合成方法技术

技术编号:18459088 阅读:79 留言:0更新日期:2018-07-18 12:49
本发明专利技术中提出的一种基于生成对抗网络的面部表情合成方法,其主要内容包括:几何引导的面部表情合成和面部几何操作,其过程为,先给定目标面部表情的热图和没有表情的正面人脸相应地合成新的人脸图像,然后对所有损失函数进行加权求和得出总损失函数,接着采用一组基准点的几何位置来引导面部表情编辑,通过使用表情合成模型获得面部表情转移的结果,最后通过线性调整形状参数的值来进行面部表情插值。本发明专利技术利用几何引导的生成对抗网络,可以从单个图像生成不同表情的逼真图像,并对合成图像进行细粒度控制,还可以轻松地进行面部表情转移和插值,实现面部表情转移和交叉表情识别。

A facial expression synthesis method based on generation of confrontation network

In the present invention, a facial expression synthesis method based on generating antagonism network is proposed. Its main contents include: Geometric guided facial expression synthesis and facial geometry operation. The process is that a new face image, which is first given the facial expression of a target, and a face without facial expression, will be fitted to a new face image, and then all the damage is done to the face. The loss function is weighted and the total loss function is obtained. Then the facial expression is edited with the geometric position of a set of datum points. The facial expression transfer results are obtained by using the expression synthetic model. Finally, the value of the shape parameters is linearly adjusted to perform facial expression interpolation. The invention makes use of geometric guidance generation against network, can generate vivid images of different expressions from a single image, control the fine-grained degree of synthetic images, and can easily transfer and interpolate facial expressions, and realize facial expression transfer and cross facial expression recognition.

【技术实现步骤摘要】
一种基于生成对抗网络的面部表情合成方法
本专利技术涉及面部表情合成领域,尤其是涉及了一种基于生成对抗网络的面部表情合成方法。
技术介绍
人类面部在人类交流中起着十分重要的信息表达功能,它传递着人类的情感和精神状态。近年来,通过计算机对面部表情进行自动处理已经成为当前计算机视觉、计算机图形学、模式识别等领域的一个热点研究课题,在视频会议、影视制作、智能人机接口等方面有着广泛的应用前景。面部表情处理包括面部表情识别和面部表情合成。其中,面部表情合成使人们对设备的使用更加便利,如通过面部表情合成使计算机能够产生细腻逼真的面部表情动画,能够进一步增加人机交互的趣味性,创造更良好的交互氛围。面部表情合成也能应用于影视、游戏或广告中的角色模拟,运用面部表情合成,通过数据驱动或参数驱动,可以大大降低制作成本,并提高工作效率。通过重建与合成技术,再现嫌疑分子的面部,为案件侦破和追捕提供了关键的线索;面部表情合成还可以使传统的计算机辅助教学系统更加生动有趣,进一步提高学生的学习积极性。然而,传统方法利用的变分自编码器虽然可以产生高分辨率的逼真图像,但是计算十分复杂,而深度生成模型生成的图像往往缺乏细节,图像模糊或分辨率低。本专利技术提出了一种基于生成对抗网络的面部表情合成方法,先给定目标面部表情的热图和没有表情的正面人脸相应地合成新的人脸图像,然后对所有损失函数进行加权求和得出总损失函数,接着采用一组基准点的几何位置来引导面部表情编辑,通过使用表情合成模型获得面部表情转移的结果,最后通过线性调整形状参数的值来进行面部表情插值。本专利技术利用几何引导的生成对抗网络,可以从单个图像生成不同表情的逼真图像,并对合成图像进行细粒度控制,还可以轻松地进行面部表情转移和插值,实现面部表情转移和交叉表情识别。
技术实现思路
针对图像模糊或分辨率低等问题,本专利技术的目的在于提供一种基于生成对抗网络的面部表情合成方法,先给定目标面部表情的热图和没有表情的正面人脸相应地合成新的人脸图像,然后对所有损失函数进行加权求和得出总损失函数,接着采用一组基准点的几何位置来引导面部表情编辑,通过使用表情合成模型获得面部表情转移的结果,最后通过线性调整形状参数的值来进行面部表情插值。为解决上述问题,本专利技术提供一种基于生成对抗网络的面部表情合成方法,其主要内容包括:(一)几何引导的面部表情合成;(二)面部几何操作。其中,所述的几何引导的面部表情合成,和主动外观模型(AAM)一样,人脸几何是通过一组基准点来定义的;热图用于编码面部基准点的位置,并提供了基准点位置的每像素可能性;给定目标面部表情的热图和没有表情的正面人脸(以下称之为无表情人脸),相应地合成新的人脸图像(表情人脸);给定一对生成器GE:(IN,HE)→IE和GN:(IE,HE)→IN,其中,IN是无表情的面部,IE是有表情的面部,HE是对应于IE的热图;与这两个生成器相关联的两个鉴别器为DE和DN,以相应区域划分实际三元组(I,H,I′)和生成三元组(I,H,G(I));I和I′是无表情和有表情的面部图像,反之亦然;HE在这两种面部编辑模式中作为表情合成中的控制和表情去除中的辅助注释;在表情合成过程中,HE用于指定目标表情,以便GE可以将中性表情IN转化为期望表情;在表情去除过程中,HE负责指示IE的状态,以便于IN的恢复;几何引导的面部表情合成的损失包括对抗性损失、像素损失、循环一致性损失和身份保留损失,这四个损失函数加权总和即为总损失函数。进一步地,所述的对抗性损失和像素损失,由于所提出的面部编辑模型生成以输入面部图像和热图为条件的结果,所以将生成对抗网络(GAN)应用于条件设置;发生器和鉴别器的对抗损失分别如下式所示:生成器的任务不仅在于欺骗鉴别器,而且还尽可能地合成类似于目标标定好的真实图像;每像素损失Lpixel强制变换后的人脸图像与原始像素空间中的标定好的真实数据具有小的距离;Lpixel的形式如下:Lpixel=EI,H,I′~P(I,H,I′)‖I′-G(I,H)‖1(3)使用L1距离鼓励模糊输出;(I,H,I′)是(IN,HE,IE)和(IE,HE,IN)的组合之一,取决于生成器。进一步地,所述的循环一致性损失,生成器GE和GN在中性表情面部和表情面部之间构建完整的映射循环;如果将面部图像从中性表情转换为愤怒的表情,然后将其转化为中性表情,那么在理想情况下应该获得相同的面部图像;因此,引入一个额外的周期一致性损失Lcyc来保证源图像与重建图像的一致性,如IN与GN(GE(IN,HE),HE)、IE与GE(GN(IE,HE),HE);Lcyc计算为:Lcyc=EI,H~P(I,H)‖I-G′(G(I,H))‖1(4)其中,G′是G相反的生成器;如果使用G将中性表情转换为由面部几何热图H指定的表情,那么G′用于在H的帮助下恢复中性表情。进一步地,所述的身份保留损失,面部表情编辑在表情合成和去除之后保留面部特征;因此,采用身份保持项来强化身份一致性:Lidentity=EI,H~P(I,H)‖F(I)-F(G(I,H))‖1(5)其中,F是面部识别的特征提取器;采用减轻卷积神经网络模型作为特征提取网络,其中包括9个卷积层、4个最大池层和1个全连接层;减轻卷积神经网络预先训练成一个可以区分各种身份的分类器,因此它能捕捉到人脸识别最突出的特征;因此,可以利用这个损失来执行通过面部编辑过程保留的面部身份。进一步地,所述的总损失函数,生成器的最终完整目标GN和GE是上述定义的所有损失的加权总和LG-adv去除实际样本与生成样本之间的模式差距,Lpixel保证了像素正确性,Lcyc保证了重构图像和源图像的周期一致性,Lidentity通过映射过程保留身份特征,因此,总损失函数为:LG=LG-adv+α1Lpixel+α2Lcyc+α3Lidentity(6)其中,α1、α2、α3是损失权重系数。其中,所述的面部几何操作,包括面部表情编辑、面部表情转移、面部表情合成与插补。进一步地,所述的面部表情编辑,采用一组基准点的几何位置来引导面部表情编辑;人脸具有独特的生理结构特征,导致基准点位置之间的相关性较强;因此,应限制面部几何的变化以避免不合理的设置;考虑到人脸分布的先验知识,建立了参数化形状模型作为几何生成器,从标记的训练图像学习基本形状模型;首先,根据两眼位置将面部归一化到相同的比例,并旋转到水平;然后应用主成分分析(PCA)得到K个基准点位置的基本形状模型:s(p)=s0+Sp(7)其中,s,s0∈R2K×1,S∈R2K×N,p∈RN×1;基本形状s0是所有训练图像的平均形状,S的列是与N个最大特征值对应的N个特征向量;通过改变形状参数p的值可以获得不同的面部几何形状;然而,面部几何不仅与面部表情相关,还与面部身份有很大关系;即使在相同的表情下,面部几何也因人而异;例如,眼睛之间的距离和鼻子的长度在很大程度上取决于面部身份而不是表情;基于这些个体差异,提出一个基于方程(7)的个体特定形状模型,它可以通过用不同个体的中性形状代替平均形状s0导出;下式给出个体特定的形状模型:其中,表示与身份有关的变化,而p表示由面部表情引起的变化。进一步地,所述的面部表情转移,给定两个表情面部IA和IB,检测面部本文档来自技高网
...

【技术保护点】
1.一种基于生成对抗网络的面部表情合成方法,其特征在于,主要包括几何引导的面部表情合成(一);面部几何操作(二)。

【技术特征摘要】
1.一种基于生成对抗网络的面部表情合成方法,其特征在于,主要包括几何引导的面部表情合成(一);面部几何操作(二)。2.基于权利要求书1所述的几何引导的面部表情合成(一),其特征在于,和主动外观模型(AAM)一样,人脸几何是通过一组基准点来定义的;热图用于编码面部基准点的位置,并提供了基准点位置的每像素可能性;给定目标面部表情的热图和没有表情的正面人脸(以下称之为无表情人脸),相应地合成新的人脸图像(表情人脸);给定一对生成器GE:(IN,HE)→IE和GN:(IE,HE)→IN,其中,IN是无表情的面部,IE是有表情的面部,HE是对应于IE的热图;与这两个生成器相关联的两个鉴别器为DE和DN,以相应区域划分实际三元组(I,H,I′)和生成三元组(I,H,G(I));I和I′是无表情和有表情的面部图像,反之亦然;HE在这两种面部编辑模式中作为表情合成中的控制和表情去除中的辅助注释;在表情合成过程中,HE用于指定目标表情,以便GE可以将中性表情IN转化为期望表情;在表情去除过程中,HE负责指示IE的状态,以便于IN的恢复;几何引导的面部表情合成的损失包括对抗性损失、像素损失、循环一致性损失和身份保留损失,这四个损失函数加权总和即为总损失函数。3.基于权利要求书2所述的对抗性损失和像素损失,其特征在于,由于所提出的面部编辑模型生成以输入面部图像和热图为条件的结果,所以将生成对抗网络(GAN)应用于条件设置;发生器和鉴别器的对抗损失分别如下式所示:生成器的任务不仅在于欺骗鉴别器,而且还尽可能地合成类似于目标标定好的真实图像;每像素损失Lpixel强制变换后的人脸图像与原始像素空间中的标定好的真实数据具有小的距离;Lpixel的形式如下:Lpixel=EI,H,I′~P(I,H,I′)‖I′-G(I,H)‖1(3)使用L1距离鼓励模糊输出;(I,H,I′)是(IN,HE,IE)和(IE,HE,IN)的组合之一,取决于生成器。4.基于权利要求书2所述的循环一致性损失,其特征在于,生成器GE和GN在中性表情面部和表情面部之间构建完整的映射循环;如果将面部图像从中性表情转换为愤怒的表情,然后将其转化为中性表情,那么在理想情况下应该获得相同的面部图像;因此,引入一个额外的周期一致性损失Lcyc来保证源图像与重建图像的一致性,如IN与GN(GE(IN,HE),HE)、IE与GE(GN(IE,HE),HE);Lcyc计算为:Lcyc=EI,H~P(I,H)‖I-G′(G(I,H))‖1(4)其中,G′是G相反的生成器;如果使用G将中性表情转换为由面部几何热图H指定的表情,那么G′用于在H的帮助下恢复中性表情。5.基于权利要求书2所述的身份保留损失,其特征在于,面部表情编辑在表情合成和去除之后保留面部特征;因此,采用身份保持项来强化身份一致性:Lidentity=EI,H~P(I,H)‖F(I)-F(G(I,H))‖1(5)其中,F是面部识别的特征提取器;采用减轻卷积神经网络模型作为特征提取网络,其中包括9个卷积层、4个最大池层和1个...

【专利技术属性】
技术研发人员:夏春秋
申请(专利权)人:深圳市唯特视科技有限公司
类型:发明
国别省市:广东,44

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1