一种基于特征子空间分离的交叉数据域微表情分类方法技术

本发明专利技术公开了一种基于特征子空间分离的交叉数据域微表情分类方法，包括：构建源域和目标域的训练数据和测试数据，将不同数据域按照标签一致性进行标签重定义，用于两个数据域的标签分类一致；引入公共域对源域和目标域的数据进行处理，源域私有空间和目标域私有空间分别对源域、目标域数据进行处理，用于建立深度学习网络模型；对三部分的损失函数进行加权求和获取最终的目标损失函数，使用随机梯度下降优化器训练网络；将目标域的测试集图像输入到加载训练模型参数后的网络中输出分类结果。本发明专利技术解决了微表情识别场景中建立模型使用的训练数据和实际应用中使用的测试数据存在特征分布差异的问题，通过分析微表情在面部表达上动作单元的一致性，以及面部背景的差异性，解决交叉数据域微表情分类的问题。解决交叉数据域微表情分类的问题。解决交叉数据域微表情分类的问题。

【技术实现步骤摘要】
一种基于特征子空间分离的交叉数据域微表情分类方法


[0001]本专利技术涉及图像分类识别分析领域，尤其涉及一种基于特征子空间分离的交叉数据域 微表情分类方法。

技术介绍

[0002]近年来，随着计算机视觉、模式识别等学科的迅速发展，面部表情的研究趋于成熟， 微表情的研究引起了国内外很多专家学者的关注。识别微表情可以帮助获取人们真实的心 理活动信息，具有广泛的应用价值。在司法刑侦领域，警察可以根据嫌疑人的微表情来综 合考虑供词的真实性；在教育领域，老师可以通过观察学生的微表情，对学生的学习态度 和学习情况有更好的了解，从而更好的对学生进行因材施教；在商业领域，商人可以观察 对手的微表情推测对方的心理波动，有助于掌握商业战略的主动性。
[0003]作为一种特殊的动态面部表情，微表情可以揭示人类试图掩盖的隐藏情感。但是，相 比普通的动态面部表情，微表情具有较低的肌肉运动强度和较短的持续时间，这使得自动 微表情识别成为一项非常困难的任务。尽管存在很多挑战，微表情识别仍然成为最近比较 有吸引力的研究主题之一，近年来已经提出了广泛有效的方法来应对这项艰巨的任务。但 可以注意到，大多数目前开发的微表情识别方法的训练样本和测试样本属于相同的微表情 数据库，在这情况下，可以认为训练样本和测试样本遵守相同或相似的特征分布。
[0004]然而，在实际应用中，训练和测试的微表情样本可能来自两个不同的数据库。显然， 它们是在不同环境下记录的，所使用的设备也可能不同。在这种情况下，会出现训练模型 使用的样本数据与实际测试使用的样本数据的特征分布存在一定的差异。因此，目前大多 数微表情分类方法在实际测试情况下的性能可能会有所降低。

技术实现思路

[0005]本专利技术旨在解决微表情识别场景中建立模型使用的训练数据和实际应用中使用的测 试数据存在特征分布差异的问题，通过分析微表情在面部表达上动作单元的一致性，以及 面部背景的差异性，解决交叉数据域微表情分类的问题，本专利技术提供了一种基于特征子空 间分离的交叉数据域微表情分类方法，详见下文描述：
[0006]一种基于特征子空间分离的交叉数据域微表情分类方法，所述方法包括：
[0007]构建源域和目标域的训练数据和测试数据，将不同数据域按照标签一致性进行标签重 定义，用于两个数据域的标签分类一致；
[0008]引入公共域对源域和目标域的数据进行处理，源域私有空间和目标域私有空间分别对 源域、目标域数据进行处理，，用于建立深度学习网络模型；
[0009]根据得到的源域预测标签和源域真实标签，利用交叉熵函数进行计算，获得多分类交 叉熵损失函数，根据源域、目标域输入数据分别在公共域子空间和该域私有子空间编码得 到的特征向量，进行计算获取差异损失函数，根据源域图像和目标域图像分别在公共域子 空间编码得到的特征向量，进行计算获取域对抗的相似度损失函数；
[0010]对三部分的损失函数进行加权求和获取最终的目标损失函数，使用随机梯度下降优化 器训练网络；
[0011]将目标域的测试集图像输入到加载训练模型参数后的网络中输出分类结果。
[0012]其中，所述将不同数据域按照标签一致性进行标签重定义，用于两个数据域的标签分 类一致具体为：
[0013]对每一个微表情序列，将顶点帧图像划分到测试数据，其他图像划分到训练数据，序 列内图像数据标签与序列标签保持一致，得到每一个数据域的训练数据和测试数据，两个 数据域的数据进行交叉组合充当源域数据或目标域数据。
[0014]进一步地，所述引入公共域对源域和目标域的数据进行处理，源域私有空间和目标域 私有空间分别对源域、目标域数据进行处理，用于建立深度学习网络模型具体为：
[0015]模型由三条卷积神经网络支路组成，中间为公共域子空间，对源域和目标域数据进行 处理；剩下两条支路为私有域子空间，分别对源域数据和目标域进行处理；
[0016]每条卷积神经网络支路的结构与VGG16保持一致，包含5组卷积，每组卷积包含的 卷积层的层数分别是2、2、3、3、3，中间网络支路还包含两个全连接层和一层用于分类 的归一化指数函数层；每组卷积后面加入了池化操作以及每个卷积层后面加上了修正线性 单元操作。
[0017]本专利技术提供的技术方案的有益效果是：
[0018]1、本专利技术通过使损失函数最小化，提高了私有域子空间和公共域子空间的正交性， 同时也提高了源域和目标域在公共域子空间编码后特征的相似性；
[0019]2、本专利技术通过降低源域真实标签和预测标签的交叉熵损失，可以更好地提高无标签 的目标域视频标签生成的准确性；
[0020]3、本专利技术通过使用迁移学习的原理和端到端的神经网络的方法，使用有标签的源域 图像数据指导无标签的目标域分类结果的生成。
附图说明
[0021]图1为一种基于特征子空间分离的交叉数据域微表情分类方法的流程图；
[0022]图2为深度学习网络模型结构以及三部分损失函数的示意图。
具体实施方式
[0023]为使本专利技术的目的、技术方案和优点更加清楚，下面对本专利技术实施方式作进一步地详 细描述。
[0024]为了解决
技术介绍
中存在的问题，开发更实用的微表情识别方法，研究交叉数据库的 微表情识别问题就很有必要，其中训练和测试样本属于两个不同的微表情数据库。
[0025]为了方便起见，本专利技术实施例将带有标签的数据库称为源域(数据库)，并且将测试 数据库作为交叉数据库微表情识别分类的目标域(数据库)。
[0026]实施例1
[0027]本专利技术实施例提供了一种基于特征子空间分离的交叉数据域微表情分类方法，参见图 1，该方法包括以下步骤：
[0028]步骤101：构建源域和目标域的训练数据和测试数据，将不同数据域按照标签一致
性 进行标签重定义，保证两个数据域的标签分类一致；
[0029]步骤102：引入公共域对源域和目标域的数据进行处理，源域私有空间和目标域私有 空间分别对源域、目标域数据进行处理，以此为基础建立深度学习网络模型；
[0030]步骤103：根据得到的源域预测标签和源域真实标签，利用交叉熵函数进行计算，获 得第一部分的损失函数，根据源域、目标域的数据分别在公共域子空间和该域私有子空间 编码得到的特征向量，进行计算获取差异损失函数，根据源域图像和目标域图像分别在公 共域子空间编码得到的特征向量，进行计算获取第三部分的损失函数；
[0031]步骤104：对三部分的损失函数进行加权求和获取最终的目标损失函数，使用SGD (Stochastic Gradient Descent，随机梯度下降)优化器训练网络；
[0032]步骤105：将目标域的测试集图像输入到加载训练模型参数后的网络中输出分类结果。
[0033]综上所述，本专利技术实施例通过使损失函数最小化，通过降低源域真实标签和源域预测 标签的交叉熵损失、私有域子空间特征向量和公共域子空间特征向量的相异性本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于特征子空间分离的交叉数据域微表情分类方法，其特征在于，所述方法包括：构建源域和目标域的训练数据和测试数据，将不同数据域按照标签一致性进行标签重定义，用于两个数据域的标签分类一致；引入公共域对源域和目标域的数据进行处理，源域私有空间和目标域私有空间分别对源域、目标域数据进行处理，，用于建立深度学习网络模型；根据得到的源域预测标签和源域真实标签，利用交叉熵函数进行计算，获得多分类交叉熵损失函数，根据源域、目标域输入数据分别在公共域子空间和该域私有子空间编码得到的特征向量，进行计算获取差异损失函数，根据源域图像和目标域图像分别在公共域子空间编码得到的特征向量，进行计算获取域对抗的相似度损失函数；对三部分的损失函数进行加权求和获取最终的目标损失函数，使用随机梯度下降优化器训练网络；将目标域的测试集图像输入到加载训练模型参数后的网络中输出分类结果。2.根据权利要求1所述的一种基于特征子空间分离的交叉数据域微表情分类方法，其特征在于，所述将不同数据域按照标签一致性...

【专利技术属性】
技术研发人员：苏育挺，王蒙蒙，刘婧，
申请(专利权)人：天津大学，
类型：发明
国别省市：