一种基于几何先验对抗生成网络的人脸表情合成方法技术

本发明专利技术公开一种基于几何先验对抗生成网络的人脸表情合成方法，包括步骤：将表情数据库图像数据预处理，提取人脸图像的表情关键点，制作人脸关键点热力图；将人脸图像和人脸关键点热力图作为网络模型的输入，训练对抗生成网络中的两对生成器和判别器同时完成表情生成和去除的任务，训练得到能同时进行表情生成和表情去除的几何先验对抗生成网络模型使用训练好的几何先验对抗生成网络模型，对测试数据进行表情生成和去除处理，并对经过去除处理操作的图像进行表情不变人脸识别。本发明专利技术同时优化人脸表情合成和人脸表情去除两个任务，有利于提升网络训练的收敛速度，有效提高了模型泛化能力。

【技术实现步骤摘要】
一种基于几何先验对抗生成网络的人脸表情合成方法
本专利技术涉及图形处理
，特别是涉及一种基于几何先验对抗生成网络的人脸表情合成方法。
技术介绍
人脸表情合成是一种典型的图形处理问题，目的在于合成特定人物的特定表情，已经引起计算机图形学、计算机视觉、模式识别和机器学习等领域的广泛关注。合成像照片一样真实的脸部表情图像对学术界和工业级都具有重要的价值，并且表情合成在面部动画制作、脸部编辑、脸部数据库扩增和人脸识别方面也都有诸多应用。但由于人脸极端复杂的几何形式、不可计数的脸部皱纹和细微的颜色及纹理的变化，使得合成“真实的”人脸表情图像仍然具有一定的难度。近年来，深度学习在机器视觉的众多领域都取得了令人瞩目的效果，尤其是对抗生成网络在图像生成方面引起了巨大反响。对抗生成网络启发自博弈论中二人零和博弈的思想，具有生成式网络和判别式网络两个网络，利用它们之间的相互竞争从而不断提升网络性能，最终达到平衡。基于对抗生成网络的思想，衍生出许多变种网络，并且这些网络在图像合成、图像超分、图像风格转换和人脸合成等方面都取得了显著的进步。对于人本文档来自技高网...

【技术保护点】
1.基于几何先验对抗生成网络的人脸表情合成方法，其特征在于，包括：/nS1.将表情数据库图像数据预处理，提取人脸图像的表情关键点，制作人脸关键点热力图；/nS2.将人脸图像和人脸关键点热力图作为网络模型的输入，训练对抗生成网络中的两对生成器和判别器同时完成表情生成和去除的任务，训练得到能同时进行表情生成和表情去除的几何先验对抗生成网络模型；其中，/n对于表情生成任务，通过生成器对输入进行处理得到生成的有表情人脸，与真实的有表情人脸在判别器中进行对抗损失的计算；对于表情去除任务，通过生成器对输入进行处理得到生成的无表情人脸，与真实的无表情人脸在判别器中进行对抗损失的计算；迭代多次达到稳定后完成模...

【技术特征摘要】
1.基于几何先验对抗生成网络的人脸表情合成方法，其特征在于，包括：
S1.将表情数据库图像数据预处理，提取人脸图像的表情关键点，制作人脸关键点热力图；
S2.将人脸图像和人脸关键点热力图作为网络模型的输入，训练对抗生成网络中的两对生成器和判别器同时完成表情生成和去除的任务，训练得到能同时进行表情生成和表情去除的几何先验对抗生成网络模型；其中，
对于表情生成任务，通过生成器对输入进行处理得到生成的有表情人脸，与真实的有表情人脸在判别器中进行对抗损失的计算；对于表情去除任务，通过生成器对输入进行处理得到生成的无表情人脸，与真实的无表情人脸在判别器中进行对抗损失的计算；迭代多次达到稳定后完成模型的训练；
S3.使用训练好的几何先验对抗生成网络模型，对测试数据进行表情生成和去除处理，并对经过去除处理操作的图像进行表情不变人脸识别。


2.根据权利要求1所述的基于几何先验对抗生成网络的人脸表情合成方法，其特征在于，步骤S2中，在表情生成任务中，将表情关键点信息处理得到人脸关键点热力图与无表情图像结合作为网络模型的输入，有表情图像作为真实图像标签；在表情去除任务中，将表情关键点信息处理得到人脸关键点热力图与有表情图像结合作为网络模型的输入，无表情图像作为真实图像标签。


3.根据权利要求1所述的基于几何先验对抗生成网络的人脸表情合成方法，其特征在于，步骤S2包括：
S21：初始化表情生成和表情去除两个任务的网络权重参数，其中，生成器的损失函数是和判别器的损失函数是和
S22：对于表情生成任务，结合无表情人脸和表情关键点信息输入到生成器网络G1中进行有表情人脸的合成任务，生成的有表情图像与无表情人脸和表情关键点信息一起构成假样本，真实的有表情人脸与无表情人脸和表情关键点信息一起构成真样本，再将假样本和真样本输入到判别器网络D1中，依次迭代训练使生成器的损失函数和判别器的损失函数均降低至趋于稳定；
S23：对于表情去除任务，结合真实表情人脸和表情关键点信息输入到生成器网络G2中进行有表情人脸的去除任务，生成的无表情图像与真实的表情人脸和表情关键点信息一起构成假样本，真实的无表情人脸与真实的表情人脸和表情关键点信息一起构成真样本，再将假样本和真样本输入到判别器网络D2中，依次迭代训练使生成器的损失函数和判别器的损失函数均降低至趋于稳定；
S24：同时训练表情生成和表情去除任务，直至所有的损失函数不再降低，从而得到最终的对抗生成网络模型。


4.根据权利要求3所述的基于几何先验对抗生成网络的人脸表情合成方法，其特征在于，表情生成任务中生成器和判别器的目标函数如下表示：






其中，I为表情合成判别器中真实无表情图像，H为表情人脸热力图，G1为表情合成生成器，D1为表情合成判别器，I'为表情合成判别器中真实表情图像，为生成图像和真实图像间的对抗损失，Lpixel为图像间L1范数度量，Lcyc为循环一致性L1范数度量，Lidentity为特征层间L1范数度量，α1,α2,α3为损失的权重系数，EI,H,I'～P(I,H,I')为表情合成判别器中真实无表情图像、表情人脸热力图与表情合成判别器中真实表情图像的概率分布的期望。


5.根据权利要求3所述的基于几何先验对抗生成网络的人脸表情合成方法，其特征在于，表情去除任务中生成器和判别器的目标函数如下表示：






其中，I为表情去除判别器中真实表情图像，H为表情人脸热力图，G2为表情去除生成器，D2为表情去除判别器，I'为表情去除判别器中真实无表情图像，为生成图像和真实图像间的对抗损失，Lpixel为表情去除判别器中图像间L1范数度量，Lcyc为表情去除判别器中循环一致性L1范数度量，Li...

【专利技术属性】
技术研发人员：侯峦轩，马鑫，赫然，孙哲南，
申请(专利权)人：天津中科智能识别产业技术研究院有限公司，
类型：发明
国别省市：天津;12