一种基于长短时记忆网络的微表情识别方法技术

本发明专利技术提供了一种基于长短时记忆网络的微表情识别方法，包括：A、微表情样本处理：1)处理微表情数据集的样本数据和标签数据；2)构建分层数据格式hdf5训练和测试文件；B、长短时记忆网络训练：3)构建卷积神经网络模型，为所构建的卷积神经网络模型微调参数，并训练一个柔性最大值损失函数，使其参数最佳；4)固定训练好的卷积神经网络模型的参数，训练长短时记忆网络模型，使得特定维的损失函数降到最低；C、微表情识别：根据训练好的长短时记忆网络模型，初始化测试参数，将用于测试的样本送入训练好的长短时记忆网络模型中，经过网络前向传播之后输出识别率。本发明专利技术提取的特征较已有方法更具有鲁棒性。

【技术实现步骤摘要】
一种基于长短时记忆网络的微表情识别方法
本专利技术涉及一种基于长短时记忆网络的微表情识别方法，属于深度学习和模式识别的

技术介绍
微表情是一种表达人隐藏情感的情绪，通常发生在250ms～500ms的周期中，其在犯罪学、心理学、教育学等领域应用前景广泛。不同于微表情识别的是，表情识别通过检测人的面部表情变化来反映其情绪状态，这种识别技术虽然能从表面判定人的心理情绪，但是无法揭露其试图掩盖的情绪，例如，“强颜欢笑”对人表情和心理情绪不对照的描述，在这种情况下如果将其作为表情识别，虽然能识别出表面的表情却无法反应人内心的心理活动变化，因此，微表情识别作为逐渐兴起的一种面部识别技术在揭露人试图掩盖与隐藏的真实情感方面有很大的优势，然而，由于微表情较表情识别研究起步晚，因此仍面临诸多挑战。目前，微表情识别主要通过机器学习算法实现，由于特征提取方式固定，现有主流微表情识别方法的识别率普遍不高，无法满足其在多种领域的应用需求，从特征提取方面着手来提高微表情识别率势在必行。微表情的特征提取主要围绕时间和空间三个平面下各自的特征提取来进行，例如，对一副平面图像(X、Y两个轴)可以提取局部二元模式(LBP)的特征，而在提取微表情这种图像序列的特征时则将LBP应用到X、Y、Z三个轴上，对X-Y、X-Z、Y-Z三个平面分别提取LBP特征，这种方式是目前比较常见的微表情特征提取方式，即将二维下的提取算法拓展到三维领域，然后再将提取的特征划分成训练样本和测试样本用分类器进行训练和测试，这样做虽然能提取时间的特征，但是并不能反映图像帧与帧之间的细微变化，并且先提取特征再训练测试的方式繁琐。近年来，随着大数据的出现，为传统的模式识别增添活力，使得基于大数据的深度学习方式在行为识别、人脸识别、语义分割等领域有了新的突破，如何将深度学习应用于微表情识别，提取三维特征和反映帧之间细微变化微表情识别亟待解决的问题。
技术实现思路
针对现有技术的不足，本专利技术提供了一种基于长短时记忆网络的微表情识别方法。专利技术概述：一种基于长短时记忆网络的微表情识别方法，包括微表情样本处理、长短时记忆网络训练和微表情识别。为了应对长短时记忆网络双标签的问题，将微表情样本以及标签加以处理组成训练样本。为了使提取的特征更具有鲁棒性，采用了卷积神经网络和长短时记忆网络结合的训练方式，将卷积神经网络的输出作为长短时记忆网络的输入。为了使卷积神经网络更快收敛，训练卷积神经网络时通过微调已有的卷积神经网路模型来训练本模型。术语解释：hdf5，是指HierarchicalDataFormat第五版本，是一种分层数据格式，通常用于多层次数据格式的存储。类似于字典模型，在hdf5中可以定义多种不同数据格式，并分别命名，例如可以在一个hdf5文件中，定义一个data层并存储其data对应的数据，再定义一个label层并存储label对应的数据。本专利技术的技术方案如下：一种基于长短时记忆网络的微表情识别方法，包括：A、微表情样本处理1)处理微表情数据集的样本数据和标签数据；2)构建分层数据格式hdf5训练和测试文件；B、长短时记忆网络训练3)构建卷积神经网络模型，通过利用训练好的网络模型为所构建的卷积神经网络模型微调参数，并训练一个柔性最大值损失函数，使得所构建的卷积神经网络模型的参数最佳；4)固定训练好的卷积神经网络模型的参数，训练长短时记忆网络模型，使得特定维的损失函数降到最低；C、微表情识别根据训练好的长短时记忆网络模型，初始化测试参数，将用于测试的样本送入训练好的长短时记忆网络模型中，经过网络前向传播之后输出识别率。本专利技术长短时记忆网络模型包含卷积神经网络和长短时记忆网络两个部分，其中第一部分将微表情分成单幅图像进行二维空间图像下的特征提取，第二部分将第一部分的参数固定并通过长短时记忆网络训练时间下的特征提取参数。最后，在识别阶段，本专利技术将测试样本送入训练好的长短时记忆网络，经过前向传播后在网络的一个准确度层中输出识别率。根据本专利技术优选的，所述步骤A，微表情样本处理，微表情数据集的样本数据和标签数据包括每个微表情样本的图像序列、对应标签、连续标志位；图像序列记录当前图像的文件路径；连续标志位代表当前图像是否为一段序列的一张，连续标志位是0，则代表当前图像是当前序列的起始帧，连续标志位是1，则代表当前图像是当前序列的连续帧；设置连续标志位的目的在于判断如果在每个最小批量中依次输入多段图像序列时，当前图像属于哪一段序列。在本专利技术中，将连续标志位看作微表情的另一标签，因此这是一个双标签识别问题；包括：a、将每个微表情样本的对应标签、连续标志位分别以数字的形式记录，将文件路径和两个数字分别写入一行文本，对于所有的微表情样本及其图像，保存为一个以行区分的文本；b、按行读取文本，对于每一行，读取其第一个空格前内容所对应的图像数据，并保存为三维矩阵H×W×C，H、W、C分别代表图像的高、宽、通道数，并将三维矩阵H×W×C的高H、宽W调整到固定大小S×S，S的取值范围是100～300；通道数C保持不变；c、将步骤b得到的调整后的矩阵转置为C×H×W，即调整大小和维数方向；d、将步骤c得到的调整后的矩阵归一化处理后保存到hdf5的data中，每一行的剩余两个文字分别保存成数字后写入到hdf5的label中。根据本专利技术优选的，所述步骤3)，构建卷积神经网络模型，通过利用训练好的网络模型为所构建的卷积神经网络模型微调参数，并训练一个柔性最大值损失函数，使得所构建的卷积神经网络模型的参数最佳；包括：e、构建卷积神经网络结构：构建的卷积神经网络包括数据输入、卷积计算、全连接层和损失函数四部分，数据输入为图像数据层；卷积计算包括5层卷积层，每一层卷积层后接一个池化层和一个RELU激活函数，RELU激活函数为f(x)＝max(0,x)；5层卷积层后为三个全连接层，前两个全连接层将5层卷积层CNN输出特征规整维数为1024、2048或4096的特征，最后一个全连接层输出维数与微表情类别数相同。卷积神经网络的输入为数据层的图像数据，假设数据的输入大小为T×N×C×H×W，T代表长短时记忆网络层处理的时间步的数量，在本专利技术中T代表一段图像序列的帧数，N代表一个最小批量里同时处理的序列个数，经过卷积神经网络后，输出大小为(T×N)×1×4096；f、训练卷积神经网络：以行为识别中训练好的卷积网络为参数模板，通过共享其参数模型对卷积神经网络进行微调，即保留网络中的卷积层名称不变，改变全连接层的名称；这样做的目的是在微调过程中，名称不变的网络层参数不再更新，通过前向传播和后向传播来更新名称不同的网络层参数。使网络利用已有的参数微调，训练一个柔性最大值损失函数，以达到迅速收敛的目的，柔性最大值损失函数LCNN如式(Ⅰ)所示：式(Ⅰ)中，σh,w(ai)为h、w对应的柔性最大值函数，M为微表情标签个数，ai和aj分别为送入柔性最大值损失函数之前在i和j处的网络输出，i代表M个标签中当前的标签，j代表将exp(aj)所有M个加和中的第j个；微调过程中的最大迭代次数为30000次，经过12000次迭代后柔性最大值损失函数基本降到0，初始学习率为0.01，每经过10000次学习率降到原来的0.1。根据本专利技术优选的本文档来自技高网...

【技术保护点】
1.一种基于长短时记忆网络的微表情识别方法，其特征在于，包括：A、微表情样本处理1)处理微表情数据集的样本数据和标签数据；2)构建分层数据格式hdf5训练和测试文件；B、长短时记忆网络训练3)构建卷积神经网络模型，通过利用训练好的网络模型为所构建的卷积神经网络模型微调参数，并训练一个柔性最大值损失函数，使得所构建的卷积神经网络模型的参数最佳；4)固定训练好的卷积神经网络模型的参数，训练长短时记忆网络模型，使得特定维的损失函数降到最低；C、微表情识别根据训练好的长短时记忆网络模型，初始化测试参数，将用于测试的样本送入训练好的长短时记忆网络模型中，经过网络前向传播之后输出识别率。

【技术特征摘要】
1.一种基于长短时记忆网络的微表情识别方法，其特征在于，包括：A、微表情样本处理1)处理微表情数据集的样本数据和标签数据；2)构建分层数据格式hdf5训练和测试文件；B、长短时记忆网络训练3)构建卷积神经网络模型，通过利用训练好的网络模型为所构建的卷积神经网络模型微调参数，并训练一个柔性最大值损失函数，使得所构建的卷积神经网络模型的参数最佳；4)固定训练好的卷积神经网络模型的参数，训练长短时记忆网络模型，使得特定维的损失函数降到最低；C、微表情识别根据训练好的长短时记忆网络模型，初始化测试参数，将用于测试的样本送入训练好的长短时记忆网络模型中，经过网络前向传播之后输出识别率。2.根据权利要求1所述的一种基于长短时记忆网络的微表情识别方法，其特征在于，所述步骤A，微表情样本处理，微表情数据集的样本数据和标签数据包括每个微表情样本的图像序列、对应标签、连续标志位；图像序列记录当前图像的文件路径；连续标志位代表当前图像是否为一段序列的一张，连续标志位是0，则代表当前图像是当前序列的起始帧，连续标志位是1，则代表当前图像是当前序列的连续帧；包括：a、将每个微表情样本的对应标签、连续标志位分别以数字的形式记录，将文件路径和两个数字分别写入一行文本，对于所有的微表情样本及其图像，保存为一个以行区分的文本；b、按行读取文本，对于每一行，读取其第一个空格前内容所对应的图像数据，并保存为三维矩阵H×W×C，H、W、C分别代表图像的高、宽、通道数，并将三维矩阵H×W×C的高H、宽W调整到固定大小S×S，S的取值范围是100～300；通道数C保持不变；c、将步骤b得到的调整后的矩阵转置为C×H×W，即调整大小和维数方向；d、将步骤c得到的调整后的矩阵归一化处理后保存到hdf5的data中，每一行的剩余两个文字分别保存成数字后写入到hdf5的label中。3.根据权利要求1所述的一种基于长短时记忆网络的微表情识别方法，其特征在于，所述步骤3)，构建卷积神经网络模型，通过利用训练好的网络模型为所构建的卷积神经网络模型微调参数，并训练一个柔性最大值损失函数，使得所构建的卷积神经网络模型的参数最佳；包括：e、构建卷积神经网络结构：构建的卷积神经网络包括数据输入、卷积计算、全连接层和损失函数四部分，数据输入为图像数据层；卷积计算包括5层卷积层，每一层卷积层后接一个池化层和一个RELU激活函数，RELU激活函数为f(x)＝max(0,x)；5层卷积层后为三个全连接层，前两个全连接层将5层卷积层CNN输出特征规整维数为1024、2048或4096的特征，最后一个全连接层输出维数与微表情类别数相同；卷积神经网络的输入为数据层的图像数据，假设数据的输入大小为T×N×C×H×W，T代表长短时记忆网络层处理的时间步的数量，在本发明中T代表一段图像序列的帧数，N代表一个最小批量里同时处理的序列个数，经过卷积神经网络后，输出大小为(T×N)×1×4096；f、训练卷积神经网络：以行为识别中训练好的卷积网络为参数模板，通过共享其参数模型对卷积神经网络进行微调，即保留网络中的卷积层名称不变，改变全连接层的名称；使网络利用已有的参数微调，训练一个柔性最大值损失函数，柔性最大值损失函数LCNN如式(Ⅰ)所示：式(Ⅰ)中，σh,w(ai)为h、w对应的柔性最大值函数，i＝0,1,...,M，M为微表情标签个数，ai和aj分别为送入柔...

【专利技术属性】
技术研发人员：贲晛烨，庞建华，任亿，翟鑫亮，陈瑞敏，张鑫，
申请(专利权)人：山东大学，
类型：发明
国别省市：山东,37