一种基于表情迁移的人脸表情识别方法技术

本发明专利技术公开了一种基于表情迁移的人脸表情识别方法，属于深度学习与图像处理技术领域。本发明专利技术通过提取出高纯度的表情相关特征，进而提高表情识别任务的精度。本发明专利技术方法为：利用已有成熟网络提取表情图像的全局特征向量，并使用分解器将全局特征向量分解为特征向量A和特征向量B；进行表情迁移训练，使特征向量A演变为表情相关特征，而特征向量B演变为表情无关特征；利用表情相关特征进行表情识别，输出表情类别。本发明专利技术借助表情迁移的辅助任务，将原始的含有干扰信息的表情特征向量分解为表情相关特征向量与表情无关特征向量，表情相关特征向量是高质量的，更利于表情识别任务。务。务。

【技术实现步骤摘要】
一种基于表情迁移的人脸表情识别方法


[0001]本专利技术涉及深度学习与图像处理领域，具体涉及一种基于表情迁移的人脸表情识别方法。

技术介绍

[0002]常见的面部表情有：平静、高兴、生气、厌恶、伤心、害怕和惊讶，它们可有效反应人的心理和生理状态，这使得人脸表情识别在心理学、电动游戏、智能监控、车辆安全等领域得到了广泛的应用。随着深度学习的发展，基于卷积神经网络的人脸表情识别方法逐渐涌现出来，传统作法是用一些已经成熟的网络(如ResNet，GoogleNet等)从表情图像中提取出特征，然后利用该特征进行表情识别。因此，特征质量的好坏决定着识别精度的高低。
[0003]然而，人脸表情图像中存在大量与表情无关的干扰信息，使得高质量的特征难以被提取。干扰信息会在训练阶段混淆网络，比如皱纹等外貌特征常会被误认为是某种面部表情动作，导致网络误判目标表情为其他类别的相似表情。干扰信息还会减少微表情特征的权重，使微面部动作更难被网络感知，比如在卷积过程中，微面部表情的细微动作会被抹去，导致其在网络提取的特征中起到很小的比重。

技术实现思路

[0004]本专利技术提供了一种基于表情迁移的人脸表情识别方法，通过从表情图像中提取出高纯度高质量的特征，进而提高表情识别的精度。
[0005]本专利技术采用的技术方案为：
[0006]一种基于表情迁移的人脸表情识别方法，该方法包括以下步骤：
[0007]步骤1，构建人脸表情识别图像数据集，并对图像数据集中的图像进行预处理，获取指定尺寸(例如224*224*3)的样本图像，并为各样本图像设置对应的表情类别标签，并将指定数量的样本图像作为训练集；
[0008]步骤2，构建网络模型：
[0009]在选取的用于图像分类的第一特征提取网络后连接一个分解器，用于将特征提取网络提取到的图像特征分解为两个子特征向量；
[0010]构建一个与第一特征提取网络的网络结构相同的网络，作为第二特征提取网络，并在第二特征提取网络后连接一个全连接层作为鉴别器，用于输出图像为真或为伪的概率；
[0011]选取一个解码网络作为生成器，用于生成新的人脸表情图像；
[0012]步骤3，对步骤2构建的网络模型进行训练：
[0013]将训练集中的所有样本图像输入到特征提取网络，经分解器得到每个样本图像的两个子特征向量：特征向量A和B；
[0014]将训练集中的所有样本图像输入到鉴别器中，设置所有样本图像的鉴别标签为真，基于二分类交叉熵损失对鉴别器的网络参数进行调优，当二分类交叉熵损失满足指定
条件时停止；
[0015]对训练集中的每一个样本图像，在该训练集中的随机挑选一幅样本图像作为其参考图像，将训练集中的样本图像的特征向量A与其参考图像的特征向量B相加后输入到生成器中，输出一幅新样本图像；
[0016]再将新样本图像输入到调优后的鉴别器中，并设置新样本图像的鉴别标签为伪，基于二分类交叉熵损失对鉴别器、生成器和第一、第二特征提取网络的网络参数进行调优；当检测到表情迁移成功时，停止调优，并执行步骤4；
[0017]其中，表情迁移成功指：新样本图像与原样本图像的表情一致，且人脸的相貌与参考图像一致；
[0018]步骤4，在分解器的输出特征向量A之后添加一层维度为表情类别数的全连接层，基于第一特征提取网络、分解器输出特征向量A支路和一层全连接层组成表情识别模型；
[0019]将训练集中的所有样本图像输入所述表情识别模型，基于多分类交叉熵损失对表情识别模型的网络参数进行调优，当分类精度满足指定条件时停止，得到训练好的表情识别模型；
[0020]步骤5，对待识别图像进行图像预处理，以使预处理后的待识别图像与表情识别模型的输入相匹配；
[0021]再将图像预处理后的待识别图像输入至训练好的表情识别模型，基于其输出得到表情识别结果。
[0022]进一步的，步骤1中，预处理为上采样或下采样，其中，上采样采用三次内插法，下采样根据采样目标尺寸以及原有尺寸隔行隔列采样。
[0023]进一步的，步骤2中，第一特征提取网络为ResNet18的第一层至倒数第二层，初始化参数选择AlexNet参数，且参数不冻结。
[0024]进一步的，步骤2中，所述分解器包含一个输出层、一个隐藏层和两个输出层，其中，输入层是第一特征提取网络的输出层，维度为512，隐藏层是维度为256的全连接层，两个输出层均与隐藏层全连接，维度均为128。即隐藏层的维度是输入层的一半，两个输出层的维度为隐藏层的一半。
[0025]进一步的，第二特征提取网络的初始化参数与第一特征提取网络相同。
[0026]进一步的，步骤2中，所述生成器采用AdaGAN的生成器结构。
[0027]进一步的，步骤3中，基于二分类交叉熵损失对鉴别器、生成器和第一、第二特征提取网络的网络参数进行调优(表情迁移训练)时，先只更新鉴别器的网络参数，后再共同更新特征提取网络、鉴别器和生成器的网络参数。
[0028]进一步的，步骤4中，当分类精度大于或等于指定的阈值(优选0.95)时停止对表情识别模型的网络参数调优。
[0029]本专利技术提供的技术方案至少带来如下有益效果：
[0030]本专利技术借助表情迁移的辅助任务，将原始的含有干扰信息的表情特征向量分解为表情相关特征向量与表情无关特征向量，表情相关特征向量是高质量的，更利于表情识别任务。
附图说明
[0031]为了更清楚地说明本专利技术实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
[0032]图1是本专利技术实施例提供的一种基于表情迁移的人脸表情识别方法的处理流程图。
具体实施方式
[0033]为使本专利技术的目的、技术方案和优点更加清楚，下面将结合附图对本专利技术实施方式作进一步地详细描述。
[0034]表情可有效反应人的心理和生理状态，这使得表情识别在心理学、智能监控、车辆安全等领域得到了广泛的应用，但是人脸表情图像中存在大量干扰信息，使得高精度的表情识别难以实现。对此，本专利技术实施例提出了一种基于表情迁移的人脸表情识别方法，通过提取出高纯度的表情相关特征，进而提高表情识别任务的精度。本方法包含三个步骤：1)利用已有成熟网络提取表情图像的全局特征向量，并使用分解器将全局特征向量分解为特征向量A和特征向量B；2)进行表情迁移训练，使特征向量A演变为表情相关特征，而特征向量B演变为表情无关特征；3)利用表情相关特征进行表情识别，输出表情类别。
[0035]如图1所示，本专利技术实施例提供的一种基于表情迁移的人脸表情识别方法，具体包括下列步骤：
[0036]步骤1：构建实验用数据集，按照90％训练集，10％验证集将实验数据集分为训练集和验证集，例如选取Extended Cohn<本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于表情迁移的人脸表情识别方法，其特征在于，包括以下步骤：步骤1，构建人脸表情识别图像数据集，并对图像数据集中的图像进行预处理，获取指定尺寸的样本图像，并为各样本图像设置对应的表情类别标签，并将指定数量的样本图像作为训练集；步骤2，构建网络模型：在选取的用于图像分类的第一特征提取网络后连接一个分解器，用于将特征提取网络提取到的图像特征分解为两个子特征向量；构建一个与第一特征提取网络的网络结构相同的网络，作为第二特征提取网络，并在第二特征提取网络后连接一个全连接层作为鉴别器，用于输出图像为真或为伪的概率；选取一个解码网络作为生成器，用于生成新的人脸表情图像；步骤3，对步骤2构建的网络模型进行训练：将训练集中的所有样本图像输入到特征提取网络，经分解器得到每个样本图像的两个子特征向量：特征向量A和B；将训练集中的所有样本图像输入到鉴别器中，设置所有样本图像的鉴别标签为真，基于二分类交叉熵损失对鉴别器的网络参数进行调优，当二分类交叉熵损失满足指定条件时停止；对训练集中的每一个样本图像，在该训练集中随机挑选一幅样本图像作为其参考图像，将训练集中的样本图像的特征向量A与其参考图像的特征向量B相加后输入到生成器中，输出一幅新样本图像；再将新样本图像输入到调优后的鉴别器中，并设置新样本图像的鉴别标签为伪，基于二分类交叉熵损失对鉴别器、生成器和第一、第二特征提取网络的网络参数进行调优；当检测到表情迁移成功时，停止调优，并执行步骤4；其中，表情迁移成功指：新样本图像与原样本图像的表情一致，且新样本图像的人脸的相貌与...

【专利技术属性】
技术研发人员：任亚洲，吴振谦，蒲晓蓉，
申请(专利权)人：电子科技大学，
类型：发明
国别省市：