In the present invention, a facial expression synthesis method based on generating antagonism network is proposed. Its main contents include: Geometric guided facial expression synthesis and facial geometry operation. The process is that a new face image, which is first given the facial expression of a target, and a face without facial expression, will be fitted to a new face image, and then all the damage is done to the face. The loss function is weighted and the total loss function is obtained. Then the facial expression is edited with the geometric position of a set of datum points. The facial expression transfer results are obtained by using the expression synthetic model. Finally, the value of the shape parameters is linearly adjusted to perform facial expression interpolation. The invention makes use of geometric guidance generation against network, can generate vivid images of different expressions from a single image, control the fine-grained degree of synthetic images, and can easily transfer and interpolate facial expressions, and realize facial expression transfer and cross facial expression recognition.
【技术实现步骤摘要】
一种基于生成对抗网络的面部表情合成方法
本专利技术涉及面部表情合成领域,尤其是涉及了一种基于生成对抗网络的面部表情合成方法。
技术介绍
人类面部在人类交流中起着十分重要的信息表达功能,它传递着人类的情感和精神状态。近年来,通过计算机对面部表情进行自动处理已经成为当前计算机视觉、计算机图形学、模式识别等领域的一个热点研究课题,在视频会议、影视制作、智能人机接口等方面有着广泛的应用前景。面部表情处理包括面部表情识别和面部表情合成。其中,面部表情合成使人们对设备的使用更加便利,如通过面部表情合成使计算机能够产生细腻逼真的面部表情动画,能够进一步增加人机交互的趣味性,创造更良好的交互氛围。面部表情合成也能应用于影视、游戏或广告中的角色模拟,运用面部表情合成,通过数据驱动或参数驱动,可以大大降低制作成本,并提高工作效率。通过重建与合成技术,再现嫌疑分子的面部,为案件侦破和追捕提供了关键的线索;面部表情合成还可以使传统的计算机辅助教学系统更加生动有趣,进一步提高学生的学习积极性。然而,传统方法利用的变分自编码器虽然可以产生高分辨率的逼真图像,但是计算十分复杂,而深度生成模型生成的图像往往缺乏细节,图像模糊或分辨率低。本专利技术提出了一种基于生成对抗网络的面部表情合成方法,先给定目标面部表情的热图和没有表情的正面人脸相应地合成新的人脸图像,然后对所有损失函数进行加权求和得出总损失函数,接着采用一组基准点的几何位置来引导面部表情编辑,通过使用表情合成模型获得面部表情转移的结果,最后通过线性调整形状参数的值来进行面部表情插值。本专利技术利用几何引导的生成对抗网络,可以从单个 ...
【技术保护点】
1.一种基于生成对抗网络的面部表情合成方法,其特征在于,主要包括几何引导的面部表情合成(一);面部几何操作(二)。
【技术特征摘要】
1.一种基于生成对抗网络的面部表情合成方法,其特征在于,主要包括几何引导的面部表情合成(一);面部几何操作(二)。2.基于权利要求书1所述的几何引导的面部表情合成(一),其特征在于,和主动外观模型(AAM)一样,人脸几何是通过一组基准点来定义的;热图用于编码面部基准点的位置,并提供了基准点位置的每像素可能性;给定目标面部表情的热图和没有表情的正面人脸(以下称之为无表情人脸),相应地合成新的人脸图像(表情人脸);给定一对生成器GE:(IN,HE)→IE和GN:(IE,HE)→IN,其中,IN是无表情的面部,IE是有表情的面部,HE是对应于IE的热图;与这两个生成器相关联的两个鉴别器为DE和DN,以相应区域划分实际三元组(I,H,I′)和生成三元组(I,H,G(I));I和I′是无表情和有表情的面部图像,反之亦然;HE在这两种面部编辑模式中作为表情合成中的控制和表情去除中的辅助注释;在表情合成过程中,HE用于指定目标表情,以便GE可以将中性表情IN转化为期望表情;在表情去除过程中,HE负责指示IE的状态,以便于IN的恢复;几何引导的面部表情合成的损失包括对抗性损失、像素损失、循环一致性损失和身份保留损失,这四个损失函数加权总和即为总损失函数。3.基于权利要求书2所述的对抗性损失和像素损失,其特征在于,由于所提出的面部编辑模型生成以输入面部图像和热图为条件的结果,所以将生成对抗网络(GAN)应用于条件设置;发生器和鉴别器的对抗损失分别如下式所示:生成器的任务不仅在于欺骗鉴别器,而且还尽可能地合成类似于目标标定好的真实图像;每像素损失Lpixel强制变换后的人脸图像与原始像素空间中的标定好的真实数据具有小的距离;Lpixel的形式如下:Lpixel=EI,H,I′~P(I,H,I′)‖I′-G(I,H)‖1(3)使用L1距离鼓励模糊输出;(I,H,I′)是(IN,HE,IE)和(IE,HE,IN)的组合之一,取决于生成器。4.基于权利要求书2所述的循环一致性损失,其特征在于,生成器GE和GN在中性表情面部和表情面部之间构建完整的映射循环;如果将面部图像从中性表情转换为愤怒的表情,然后将其转化为中性表情,那么在理想情况下应该获得相同的面部图像;因此,引入一个额外的周期一致性损失Lcyc来保证源图像与重建图像的一致性,如IN与GN(GE(IN,HE),HE)、IE与GE(GN(IE,HE),HE);Lcyc计算为:Lcyc=EI,H~P(I,H)‖I-G′(G(I,H))‖1(4)其中,G′是G相反的生成器;如果使用G将中性表情转换为由面部几何热图H指定的表情,那么G′用于在H的帮助下恢复中性表情。5.基于权利要求书2所述的身份保留损失,其特征在于,面部表情编辑在表情合成和去除之后保留面部特征;因此,采用身份保持项来强化身份一致性:Lidentity=EI,H~P(I,H)‖F(I)-F(G(I,H))‖1(5)其中,F是面部识别的特征提取器;采用减轻卷积神经网络模型作为特征提取网络,其中包括9个卷积层、4个最大池层和1个...
【专利技术属性】
技术研发人员:夏春秋,
申请(专利权)人:深圳市唯特视科技有限公司,
类型:发明
国别省市:广东,44
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。