【技术实现步骤摘要】
一种基于长短时记忆网络的微表情识别方法
本专利技术涉及一种基于长短时记忆网络的微表情识别方法,属于深度学习和模式识别的
技术介绍
微表情是一种表达人隐藏情感的情绪,通常发生在250ms~500ms的周期中,其在犯罪学、心理学、教育学等领域应用前景广泛。不同于微表情识别的是,表情识别通过检测人的面部表情变化来反映其情绪状态,这种识别技术虽然能从表面判定人的心理情绪,但是无法揭露其试图掩盖的情绪,例如,“强颜欢笑”对人表情和心理情绪不对照的描述,在这种情况下如果将其作为表情识别,虽然能识别出表面的表情却无法反应人内心的心理活动变化,因此,微表情识别作为逐渐兴起的一种面部识别技术在揭露人试图掩盖与隐藏的真实情感方面有很大的优势,然而,由于微表情较表情识别研究起步晚,因此仍面临诸多挑战。目前,微表情识别主要通过机器学习算法实现,由于特征提取方式固定,现有主流微表情识别方法的识别率普遍不高,无法满足其在多种领域的应用需求,从特征提取方面着手来提高微表情识别率势在必行。微表情的特征提取主要围绕时间和空间三个平面下各自的特征提取来进行,例如,对一副平面图像(X、Y两个轴)可以提取局部二元模式(LBP)的特征,而在提取微表情这种图像序列的特征时则将LBP应用到X、Y、Z三个轴上,对X-Y、X-Z、Y-Z三个平面分别提取LBP特征,这种方式是目前比较常见的微表情特征提取方式,即将二维下的提取算法拓展到三维领域,然后再将提取的特征划分成训练样本和测试样本用分类器进行训练和测试,这样做虽然能提取时间的特征,但是并不能反映图像帧与帧之间的细微变化,并且先提取特征再训练测 ...
【技术保护点】
1.一种基于长短时记忆网络的微表情识别方法,其特征在于,包括:A、微表情样本处理1)处理微表情数据集的样本数据和标签数据;2)构建分层数据格式hdf5训练和测试文件;B、长短时记忆网络训练3)构建卷积神经网络模型,通过利用训练好的网络模型为所构建的卷积神经网络模型微调参数,并训练一个柔性最大值损失函数,使得所构建的卷积神经网络模型的参数最佳;4)固定训练好的卷积神经网络模型的参数,训练长短时记忆网络模型,使得特定维的损失函数降到最低;C、微表情识别根据训练好的长短时记忆网络模型,初始化测试参数,将用于测试的样本送入训练好的长短时记忆网络模型中,经过网络前向传播之后输出识别率。
【技术特征摘要】
1.一种基于长短时记忆网络的微表情识别方法,其特征在于,包括:A、微表情样本处理1)处理微表情数据集的样本数据和标签数据;2)构建分层数据格式hdf5训练和测试文件;B、长短时记忆网络训练3)构建卷积神经网络模型,通过利用训练好的网络模型为所构建的卷积神经网络模型微调参数,并训练一个柔性最大值损失函数,使得所构建的卷积神经网络模型的参数最佳;4)固定训练好的卷积神经网络模型的参数,训练长短时记忆网络模型,使得特定维的损失函数降到最低;C、微表情识别根据训练好的长短时记忆网络模型,初始化测试参数,将用于测试的样本送入训练好的长短时记忆网络模型中,经过网络前向传播之后输出识别率。2.根据权利要求1所述的一种基于长短时记忆网络的微表情识别方法,其特征在于,所述步骤A,微表情样本处理,微表情数据集的样本数据和标签数据包括每个微表情样本的图像序列、对应标签、连续标志位;图像序列记录当前图像的文件路径;连续标志位代表当前图像是否为一段序列的一张,连续标志位是0,则代表当前图像是当前序列的起始帧,连续标志位是1,则代表当前图像是当前序列的连续帧;包括:a、将每个微表情样本的对应标签、连续标志位分别以数字的形式记录,将文件路径和两个数字分别写入一行文本,对于所有的微表情样本及其图像,保存为一个以行区分的文本;b、按行读取文本,对于每一行,读取其第一个空格前内容所对应的图像数据,并保存为三维矩阵H×W×C,H、W、C分别代表图像的高、宽、通道数,并将三维矩阵H×W×C的高H、宽W调整到固定大小S×S,S的取值范围是100~300;通道数C保持不变;c、将步骤b得到的调整后的矩阵转置为C×H×W,即调整大小和维数方向;d、将步骤c得到的调整后的矩阵归一化处理后保存到hdf5的data中,每一行的剩余两个文字分别保存成数字后写入到hdf5的label中。3.根据权利要求1所述的一种基于长短时记忆网络的微表情识别方法,其特征在于,所述步骤3),构建卷积神经网络模型,通过利用训练好的网络模型为所构建的卷积神经网络模型微调参数,并训练一个柔性最大值损失函数,使得所构建的卷积神经网络模型的参数最佳;包括:e、构建卷积神经网络结构:构建的卷积神经网络包括数据输入、卷积计算、全连接层和损失函数四部分,数据输入为图像数据层;卷积计算包括5层卷积层,每一层卷积层后接一个池化层和一个RELU激活函数,RELU激活函数为f(x)=max(0,x);5层卷积层后为三个全连接层,前两个全连接层将5层卷积层CNN输出特征规整维数为1024、2048或4096的特征,最后一个全连接层输出维数与微表情类别数相同;卷积神经网络的输入为数据层的图像数据,假设数据的输入大小为T×N×C×H×W,T代表长短时记忆网络层处理的时间步的数量,在本发明中T代表一段图像序列的帧数,N代表一个最小批量里同时处理的序列个数,经过卷积神经网络后,输出大小为(T×N)×1×4096;f、训练卷积神经网络:以行为识别中训练好的卷积网络为参数模板,通过共享其参数模型对卷积神经网络进行微调,即保留网络中的卷积层名称不变,改变全连接层的名称;使网络利用已有的参数微调,训练一个柔性最大值损失函数,柔性最大值损失函数LCNN如式(Ⅰ)所示:式(Ⅰ)中,σh,w(ai)为h、w对应的柔性最大值函数,i=0,1,...,M,M为微表情标签个数,ai和aj分别为送入柔...
【专利技术属性】
技术研发人员:贲晛烨,庞建华,任亿,翟鑫亮,陈瑞敏,张鑫,
申请(专利权)人:山东大学,
类型:发明
国别省市:山东,37
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。