一种基于生成式对抗网络的人脸表情合成方法技术

本发明专利技术公开了一种基于生成式对抗网络的人脸表情合成方法。该方法为：首先获取人脸表情的数据，对表情数据进行预处理，裁剪人脸图像，分为训练数据和测试数据，并将训练数据根据不同的表情强度手动划分成不同的类别；然后构造生成式对抗网络，在网络中加入对表情强度的判别信息和不同表情强度之间的关联信息；接着使用预处理好的表情数据对生成式对抗网络进行训练和测试，调节网络参数，使生成式对抗网络模型达到最优；最后选取中性表情的测试数据输入训练好的成式对抗网络模型，得到带有不同强度的表情图像。本发明专利技术能够通过中性无表情人脸图像合成不同强度的人脸表情图像，方法方便直观，合成的表情强度更加生动具有真实性。

A face expression synthesis method based on generative adversary network

【技术实现步骤摘要】
一种基于生成式对抗网络的人脸表情合成方法
本专利技术涉及深度学习和图像处理
，特别是一种基于生成式对抗网络的人脸表情合成方法。
技术介绍
人脸图像的处理是计算机视觉和图形学领域一个广泛研究课题。面部表情不仅是一种微妙的形体语言，也是人们传递情感信息的重要方式。近年来，随着计算机信息技术和服务的发展，人们越来越希望计算机的通信能够表现出拟人化的感情，在人机交互中提供一种全新的沉浸感，这也推动了表情合成的发展。面部表情合成也成为当前研究热点之一，具有广泛的应用如人机交互，虚拟现实，数字娱乐等领域。由于不同表情之间存在面部几何的非线性变化，而且不同个体的表情变化强度也是不同的，因此面部表情的合成工作具有一定的挑战性。在表情合成方面，现有的工作大部分关注于合成七种典型表情如快乐，悲伤，惊讶，愤怒等，但表情是一个变化的过程，当合成具有不同强度的表情时，会存在缺少数据标签的问题。目前关于不同强度表情合成方法大致分为两类：(1)无监督方法，利用面部几何信息进行插值拉动面部肌肉运动使人脸变形或者人工设计表情编码模块学习表情之间的变化；(2)有监督方法，使用带有表情强度标签标注的数据集进行训练。但是第一类方法不能很好到捕捉不同表情强度的变化过程，如面部皱纹等，导致生成的表情不自然，不逼真。另外通过这类方法生成的图像有时候会存在缺乏精细的细节部分，往往是模糊的或者低分辨率的。第二类方法要求数据必须标注表情强度，然而在实际应用中，表情的强度是很难用一个统一的标准去定义的，这类方法虽然能实现细粒度控制，但具有局限性。<br>
技术实现思路
本专利技术的目的在于提供一种方便直观的基于生成式对抗网络的人脸表情合成方法，通过中性无表情人脸图像合成不同强度的人脸表情图像方法，且合成的表情强度生动真实。实现本专利技术目的的技术解决方案为：一种基于生成式对抗网络的人脸表情图像合成方法，包括以下步骤：步骤1，获取人脸表情的数据；步骤2，对表情数据集进行预处理，首先获取人脸图像的关键点信息，然后根据关键点信息将图像裁剪成统一大小，并分为训练数据和测试数据，将训练数据根据不同的表情强度手动划分成不同的类别；步骤3，构造生成式对抗网络，在生成式对抗网络中加入对表情强度的判别信息及不同强度之间的顺序性和关联性信息；步骤4，使用预处理好的表情数据对生成式对抗网络进行训练和测试，调节生成式对抗网络参数，使生成式对抗网络模型达到最优；步骤5，选取中性表情的测试数据输入训练好的成式对抗网络模型，得到带有不同强度的表情图像。进一步地，步骤2中所述的根据几何关键点信息将图像裁剪成统一大小，并分为训练数据和测试数据，将训练数据根据不同的表情强度手动划分成不同的类别，具体如下：对裁剪处理后的图像根据表情类别划分成不同类，将每个类别的数据按照被试者的个数9:1划分成训练集和测试集，选取中性表情作为测试，然后人工的将训练数据按照不同的强度分别划分成中性、弱、中、强四个类别。进一步地，步骤3中所述的构造生成式对抗网络，具体如下：步骤3.1、使用一个独热编码向量hi表示图像Ii的表情强度，作为条件控制生成器合成带有目标表情强度的图像；步骤3.2、在鉴别器上添加一个分类器，使鉴别器在辨别真假的同时也能估计图像所属的表情强度；步骤3.3、在鉴别器上添加表情强度的序数排序器，使用二进制的排序向量r表示不同表情强度之间的相对顺序信息，定义一共有M个强度，把每一个表情强度作为一个等级，用lm＝m表示m强度下图像的相对等级，使用yi∈{l1,…,lM}表示图像Ii的排序等级，其中m＝1,…,M，则对于图像Ii有：式中，为图像Ii的等级向量第m维的值，m＝1,…,M-1；ri为Ii的不同强度之间关联信息；步骤3.4、在设计序数排序器时的错误成本为：式中，为m强度下图像Ii的错误分类成本，m＝1,…,M-1。进一步地，步骤3.3中所述的使用二进制向量r表示不同表情强度之间的相对顺序信息，需要满足最小化错误分类成本的条件。进一步地，步骤5中所述选取中性表情的测试数据，是指测试数据中的中性表情图像。本专利技术与现有技术相比，其显著优点为：(1)能够合成不同强度的表情图像，方法方便直观；(2)使用了多个不同尺度的鉴别器加入了对表情强度的判别信息，同时引入不同强度之间的关联信息，使网络能够更好地学习到不同强度之间表情的变化细节，使得合成的表情强度更加生动真实。附图说明图1是本专利技术基于生成式对抗网络的人脸表情图像合成方法的流程示意图。图2是本专利技术实施例中的人脸表情图像的合成效果图。具体实施方式本专利技术基于生成式对抗网络的人脸表情图像合成方法，包括以下步骤：步骤1，获取人脸表情的数据；步骤2，对表情数据集进行预处理，首先获取人脸图像的关键点信息，然后根据关键点信息将图像裁剪成统一大小，并分为训练数据和测试数据，将训练数据根据不同的表情强度手动划分成不同的类别；步骤3，构造生成式对抗网络，在生成式对抗网络中加入对表情强度的判别信息及不同强度之间的顺序性和关联性信息；步骤4，使用预处理好的表情数据对生成式对抗网络进行训练和测试，调节生成式对抗网络参数，使生成式对抗网络模型达到最优；步骤5，选取中性表情的测试数据输入训练好的成式对抗网络模型，得到带有不同强度的表情图像。进一步地，步骤2中所述的据关键点信息将图像裁剪成统一大小，并分为训练数据和测试数据，将训练数据根据不同的表情强度手动划分成不同的类别，具体如下：对裁剪处理后的图像根据表情类别划分成不同类，将每个类别的数据按照被试者的个数9:1划分成训练集和测试集，选取中性表情作为测试，然后人工的将训练数据按照不同的强度分别划分成中性、弱、中、强四个类别。进一步地，步骤3中所述的构造生成式对抗网络，具体如下：步骤3.1、使用一个独热编码向量hi表示图像Ii的表情强度，作为条件控制生成器合成带有目标表情强度的图像；步骤3.2、在鉴别器上添加一个分类器，使鉴别器在辨别真假的同时也能估计图像所属的表情强度；步骤3.3、在鉴别器上添加表情强度的序数排序器，使用二进制的排序向量r表示不同表情强度之间的相对顺序信息，定义一共有M个强度，把每一个表情强度作为一个等级，用lm＝m表示m强度下图像的相对等级，使用yi∈{l1,…,lM}表示图像Ii的排序等级，其中m＝1,…,M，则对于图像Ii有：式中，为图像Ii的等级向量第m维的值，m＝1,…,M-1；ri为Ii的不同强度之间关联信息；步骤3.4、在设计序数排序器时的错误成本为：式中，为m强度下图像Ii的错误分类成本，m＝1,…,M-1。进一步地，步骤3.3中所述的使用二进制向量r表示不同表情强度之间的相对顺序信息，需要满足最小化错误分类成本的条件。进一步地，步骤5中所述选取中性表情的测试数据，是指测本文档来自技高网...

【技术保护点】
1.一种基于生成式对抗网络的人脸表情图像合成方法，其特征在于，包括以下步骤：/n步骤1，获取人脸表情的数据；/n步骤2，对表情数据集进行预处理，首先获取人脸图像的关键点信息，然后根据关键点信息将图像裁剪成统一大小，并分为训练数据和测试数据，将训练数据根据不同的表情强度手动划分成不同的类别；/n步骤3，构造生成式对抗网络，在网络中加入对表情强度的判别信息及不同强度之间的顺序性和关联性信息；/n步骤4，使用预处理好的表情数据对生成式对抗网络进行训练和测试，调节生成式对抗网络参数，使生成式对抗网络模型达到最优；/n步骤5，选取中性表情的测试数据输入训练好的成式对抗网络模型，得到带有不同强度的表情图像。/n

【技术特征摘要】
1.一种基于生成式对抗网络的人脸表情图像合成方法，其特征在于，包括以下步骤：
步骤1，获取人脸表情的数据；
步骤2，对表情数据集进行预处理，首先获取人脸图像的关键点信息，然后根据关键点信息将图像裁剪成统一大小，并分为训练数据和测试数据，将训练数据根据不同的表情强度手动划分成不同的类别；
步骤3，构造生成式对抗网络，在网络中加入对表情强度的判别信息及不同强度之间的顺序性和关联性信息；
步骤4，使用预处理好的表情数据对生成式对抗网络进行训练和测试，调节生成式对抗网络参数，使生成式对抗网络模型达到最优；
步骤5，选取中性表情的测试数据输入训练好的成式对抗网络模型，得到带有不同强度的表情图像。


2.根据权利1所述的基于生成式对抗网络的人脸表情图像合成方法，其特征在于，步骤2中所述的根据关键点将图像裁剪成统一大小，并分为训练数据和测试数据，将训练数据根据不同的表情强度手动划分成不同的类别，具体如下：
对裁剪处理后的图像根据表情类别划分成不同类，将每个类别的数据按照受试者的个数9:1划分成训练集和测试集，选取中性表情作为测试，然后人工的将训练数据按照不同的强度分别划分成中性、弱、中、强四个类别。


3.根据权利要求1所述的基于生成式对抗网络的人脸表情图像合成方法，其特征在于，步骤3中所述的构造生成...

【专利技术属性】
技术研发人员：唐金辉，孙运莲，柴子琪，
申请(专利权)人：南京理工大学，
类型：发明
国别省市：江苏;32