一种融合注意力机制的表情合成方法技术

本发明专利技术公开了一种融合注意力机制的表情合成方法。该方法为：获取人脸表情数据集，对数据集进行关键点检测和图像裁剪；按照表情的不同类别将同一类表情划分在一起，将每类表情数据划分成训练集和测试集，根据不同的表情强度将训练集手动地划分为不同的类别；以表情强度作为条件标签，构建条件生成对抗网络，在生成网络中同时融合通道和空间两种注意力机制，使用带有分类器的鉴别网络同时判别输入图像的真假和强度类别；使用预处理后的训练集对网络进行训练，调节参数使模型达到最优，以测试集中的中立表情作为输入，得到不同强度的人脸表情图像。本发明专利技术能由中立表情图像合成具有不同强度的人脸表情图像，方法方便直观且合成的表情图像真实生动。

An expression synthesis method based on attention mechanism

【技术实现步骤摘要】
一种融合注意力机制的表情合成方法
本专利技术涉及深度学习和图像处理
，特别是一种融合注意力机制的表情合成方法。
技术介绍
人脸图像合成是计算机视觉和图形学领域一个广泛研究的课题。面部表情不仅是一种微妙的形体语言，更是人们传递情感信息的重要方式。近年来，随着计算机信息技术和服务的发展，人们越来越希望计算机的通信能够表现出拟人化的感情，在人机交互中提供一种全新的沉浸感，这也推动了表情合成的发展。面部表情合成也成为当前研究热点之一，具有广泛的应用如人机交互，虚拟现实，数字娱乐等领域。由于不同表情之间存在人脸面部几何的非线性变化，而且不同个体的表情变化强度也是不同的，因此面部表情的合成工作具有一定的挑战性。在表情合成方面，现有的工作大部分关注于合成七种典型表情如快乐，悲伤，惊讶，愤怒等，但表情是一个变化的过程，当合成具有不同强度的表情时，会存在缺少数据标签的问题。目前关于不同强度表情合成方法大致分为两类：(1)无监督方法，利用面部几何信息进行插值拉动面部肌肉运动使人脸变形或者人工设计表情编码模块学习表情之间的变化；(2)有监督方法，使用带有表情强度标签标注的数据集进行训练。然而，第一类方法不能很好到捕捉不同表情强度的变化过程，如面部皱纹等，导致生成的表情不自然，不够逼真；另外通过这类方法生成的图像有时候会存在缺乏精细的细节部分，往往是模糊的或者低分辨率的。第二类方法要求数据必须标注表情强度，然而在实际应用中，表情的强度是很难用一个统一的标准去定义的，这类方法虽然能实现细粒度控制，但具有局限性。<br>
技术实现思路
本专利技术的目的在于提供一种能够通过中立无表情人脸图像合成具有不同强度的人脸表情，方法直观便捷，合成的表情强度生动且人脸真实性强的表情合成方法。实现本专利技术目的的技术解决方案为：一种融合注意力机制的表情合成方法，包括以下步骤：步骤1，获取人脸表情图像的数据集；步骤2，对表情数据集进行预处理，首先获取人脸图像的关键点信息，根据关键点位置将图像裁剪为统一大小，然后将同一类别的表情图像划分在一起，将同类表情图像划分为训练集和测试集，将训练集根据不同的表情强度手动划分成不同的类别；步骤3，以表情强度作为条件标签，构造条件生成式对抗网络，融合通道和空间两种注意力机制，使生成的网络更关注与表情变化相关的面部部位，使用带有分类器的鉴别网络同时判别输入图像的真假和强度类别；步骤4，在步骤3构造的网络中加入人脸图像的身份信息，使生成图像前后身份信息不变性；步骤5，使用预处理后的表情数据集对步骤4中的网络进行训练和测试，调节网络参数，使生成图像效果达到最优；步骤6，将测试集中的中立表情输入到训练好的条件生成对抗网络，合成带有不同强度的人脸表情图像。本专利技术与现有技术相比，具有以下优点：(1)在不使用额外的表情编码等信息的辅助下，也能合成具有不同表情强度的人脸图像，方法方便直观；(2)使用了注意力机制帮助学习不同表情强度对应面部的细微变化，能合成更生动的人脸表情；(3)合成的人脸图像更加真实自然，在图像合成前后也能很好地保持身份信息。附图说明图1是本专利技术融合注意力机制的表情合成方法的流程示意图。图2是本专利技术实施例中的人脸表情图像的合成效果图。具体实施方式下面结合附图及具体实施例对本专利技术作进一步详细说明。结合图1，本专利技术一种融合注意力机制的表情合成方法，包括以下步骤：步骤1，获取人脸表情图像的数据集；下载人脸表情序列的数据集，作为实验数据；步骤2，对表情数据集进行预处理，首先获取人脸图像的关键点信息，根据关键点位置将图像裁剪为统一大小，然后将同一类别的表情图像划分在一起，将同类表情图像划分为训练集和测试集，将训练集根据不同的表情强度手动划分成不同的类别，具体操作如下：首先进行人脸关键点检测，提取人脸图像的关键点位置并裁剪为统一大小，将不同类别的表情图像进行归类，每个类别按照受试者人数9:1的比例划分成训练集和测试集，选取中立表情作为测试输入，然后人工地将训练集按照不同的强度划分成中立，弱，中，强四个类别。例如，得到人脸图像的68个关键点信息，计算其中5个关键点位置将图像裁剪成统一大小为128×128像素。接着受试者人数按照9:1将数据划分为训练集和测试集，然后手动地将训练集按照表情强度从弱到强依次划分成4种类别，分别是中立(无表情)，弱，中，强；步骤3，以表情强度作为条件标签，构造条件生成式对抗网络，融合通道和空间两种注意力机制，使生成的网络更关注与表情变化相关的面部部位，使用带有分类器的鉴别网络同时判别输入图像的真假和强度类别，具体如下：构造条件生成对抗网络，在生成网络中同时融合通道和空间注意力机制，使其能更关注与表情变化相关的面部部位，在鉴别网络的输出层上额外加一个分类器，用来判别生成图像所属的表情强度类别，使其在辨别图像真假的同时还能判断表情所属的强度；步骤3.1、使用一个独热编码向量z表示图像x的表情强度，作为条件标签，控制生成器合成带有目标表情强度的图像；步骤3.2、在生成网络中融入注意力机制，同时结合通道和空间两种注意力机制，使生成的网络更关注与表情变化相关的面部部位；(1)通道注意力在提取语义属性时能强调相关特征而忽略不相关特征，首先对输入图像的特征图U＝[u1,u2,…,uC]进行全局平均池化，嵌入全局空间信息，用p表示通道统计量，p的第k个元素表示为：其中，h和w分别表示图像的高度和宽度，C表示通道数，pk表示第k个通道统计量，i∈{1,2,…,h},j∈{1,2,…,w}，(i,j)表示特征点的位置，uk(i,j)表示第k个通道在位置(i,j)处的特征值；接着通过下采样和上采样层提取特征模式并使用sigmoid函数进行归一化，表示为：其中，表示对通道统计量p进行转换后的结果，Wup和Wdown分别表示上采样和下采样层，relu(·)表示线性整流函数；最后经过通道注意力校准后的特征图为(2)空间注意力则将注意力集中在与表情强度变化相关的面部器官位置上，忽略不相关的部分；将输入图像按照空间位置表示为U＝[u1,1,u1,2,…,ui,j,…,uh,w]，其中i∈{1,2,…,h},j∈{1,2,…,w}，ui,j表示在位置(i,j)处的特征值；通过一个空间挤压操作将C个通道投影到一个空间位置上，最后使用sigmoid函数进行归一化，表示为：q＝sigmoid(Wsq*U)其中，向量q表示在空间上进行投影的结果，Wsq表示空间挤压操作层；最后根据空间注意力校准后的特征图为Us＝[q1,1u1,1,…,qi,jui,j,…,qh,wuh,w]；步骤3.3、在鉴别网络上添加一个分类器，用以输出生成图像的表情强度类别，使鉴别网络能够同时辨别图像真假和估计图像所属的表情强度类别。步骤4，在步骤3构造的网络中加入人脸图像的身份信息，使生本文档来自技高网...

【技术保护点】
1.一种融合注意力机制的表情合成方法，其特征在于，包括以下步骤：/n步骤1，获取人脸表情图像的数据集；/n步骤2，对表情数据集进行预处理，首先获取人脸图像的关键点信息，根据关键点位置将图像裁剪为统一大小，然后将同一类别的表情图像划分在一起，将同类表情图像划分为训练集和测试集，将训练集根据不同的表情强度手动划分成不同的类别；/n步骤3，以表情强度作为条件标签，构造条件生成式对抗网络，融合通道和空间两种注意力机制，使生成的网络更关注与表情变化相关的面部部位，使用带有分类器的鉴别网络同时判别输入图像的真假和强度类别；/n步骤4，在步骤3构造的网络中加入人脸图像的身份信息，使生成图像前后身份信息不变性；/n步骤5，使用预处理后的表情数据集对步骤4中的网络进行训练和测试，调节网络参数，使生成图像效果达到最优；/n步骤6，将测试集中的中立表情输入到训练好的条件生成对抗网络，合成带有不同强度的人脸表情图像。/n

【技术特征摘要】
1.一种融合注意力机制的表情合成方法，其特征在于，包括以下步骤：
步骤1，获取人脸表情图像的数据集；
步骤2，对表情数据集进行预处理，首先获取人脸图像的关键点信息，根据关键点位置将图像裁剪为统一大小，然后将同一类别的表情图像划分在一起，将同类表情图像划分为训练集和测试集，将训练集根据不同的表情强度手动划分成不同的类别；
步骤3，以表情强度作为条件标签，构造条件生成式对抗网络，融合通道和空间两种注意力机制，使生成的网络更关注与表情变化相关的面部部位，使用带有分类器的鉴别网络同时判别输入图像的真假和强度类别；
步骤4，在步骤3构造的网络中加入人脸图像的身份信息，使生成图像前后身份信息不变性；
步骤5，使用预处理后的表情数据集对步骤4中的网络进行训练和测试，调节网络参数，使生成图像效果达到最优；
步骤6，将测试集中的中立表情输入到训练好的条件生成对抗网络，合成带有不同强度的人脸表情图像。


2.根据权利要求1所述的融合注意力机制的表情合成方法，其特征在于，步骤2中所述的首先获取人脸图像的关键点信息，根据关键点位置将图像裁剪为统一大小，然后将同一类别的表情图像划分在一起，将同类表情图像划分为训练集和测试集，将训练集根据不同的表情强度手动划分成不同的类别，具体如下：
提取人脸图像的关键点位置并裁剪为统一大小，将不同类别的表情图像进行归类，每个类别按照受试者人数9:1的比例划分成训练集和测试集，选取中立表情作为测试输入，然后人工地将训练集按照不同的强度划分成中立，弱，中，强四个类别。


3.根据权利要求1所述的融合注意力机制的表情合成方法，其特征在于，步骤3中所述的构造条件生成式对抗网络，具体如下：
步骤3.1、使用一个独热编码向量z表示图像x的表情强度，作为条件标签，控制生成器合成带有目标表情强度的图像；
步骤3.2、在生成网络中融入注意力机制，同时结合通道和空间两种注意力机制，使生成的网络更关注与表情变化相关的面部部位；
(1)通道注意力在提取语义属性时能强调相关特征而忽略不相关特征，首先对输入图像的特征图U＝[u1,u2,…,uC]进行全局平均池化，嵌入全局空间信息，用p表示通道统计量，p的第k个元素表示为：


...

【专利技术属性】
技术研发人员：唐金辉，柴子琪，孙运莲，
申请(专利权)人：南京理工大学，
类型：发明
国别省市：江苏;32