The invention discloses an expression recognition method based on the information of face feature points and the joint training of two networks, which involves the field of automatic expression recognition; designs a key frame extraction method for an indefinite image sequence, including the following steps: (1) locating face feature points; (2) accumulating the displacement of each frame feature point, and extracting it. To maximize the image subsequence; (3) normalize the coordinates of the feature points of the subsequence and add noise as the sequence feature; (4) send the input features into the two-tier bidirectional long-term memory network and the four-tier full-connected network, respectively, and train independently; (5) add the feature layers of the two sub-networks, based on the features from the two sub-networks. The verification signals of the two sub-networks and their own loss functions are trained to obtain the final discriminant results. The invention solves the problem of expression recognition of variable length picture sequence and the low efficiency of conventional deep learning method, and achieves the effect of improving the recognition efficiency and accuracy.
【技术实现步骤摘要】
基于人脸特征点信息与双网络联合训练的表情识别方法
本专利技术公开了一种基于深度学习的图片序列表情识别方法,涉及到自动表情识别领域。
技术介绍
人脸表情识别是计算机视觉领域的经典问题之一,在人机交互、医疗、娱乐等领域拥有广阔的应用前景。表情图片序列相比于单张静态的人脸表情图片,包含了随着时间的推移而发生的表情变化,信息更加丰富,在表情识别中更加有效。传统的表情识别方法一般可划分为3个步骤:特征学习、特征选择、分类器构建。深度学习方法可将三者合一,自动学习更有鉴别力的特征,可以取得远高于传统方法的识别率,但深度学习的方法通常需要大量训练数据以训练深层网络结构,较为耗费资源,在计算资源有限的工程应用中存在困难。此外,由于实际情形中人脸表情图片序列的长度不定,需要经过抽样处理才能直接作为深度学习的输入。如何在抽样过程中减少信息损失,同样是亟待解决的问题。
技术实现思路
本专利技术所要解决的技术问题是:为了克服现有技术中存在的不足,本专利技术提供一种基于人脸特征点信息和双网络联合训练的表情识别方法,旨在高效完成图片序列的抽样,以及减小深度学习的时间复杂度。本专利技术为了解决以上技术问题,而采用以下技术手段:本专利技术提出的一种基于人脸特征点信息与双网络联合训练的表情识别方法包括以下步骤:(1)抽取关键帧步骤:采集人脸图片序列,进行人脸特征点定位,累计图片子序列中所有相邻图片的特征点位移,抽取累计位移最大的图片子序列为关键帧序列;(2)数据预处理步骤:对关键帧序列的特征点信息进行归一化及加噪处理,作为输入特征;(3)独立训练步骤:将输入特征分别送入双层双向长短期记忆网络和 ...
【技术保护点】
1.一种基于人脸特征点信息与双网络联合训练的表情识别方法,其特征在于,包括以下步骤:1.1、抽取关键帧步骤:采集人脸图片序列,进行人脸特征点定位,累计图片子序列中所有相邻图片的特征点位移,抽取累计位移最大的图片子序列为关键帧序列;1.2 数据预处理步骤:对关键帧序列的特征点信息进行归一化及加噪处理,作为输入特征;1.3 独立训练步骤:将输入特征分别送入双层双向长短期记忆网络和四层全连接网络,分别独立训练;1.4 联合训练步骤:将双层双向长短期记忆网络和四层全连接网络的特征层相加,基于来自双层双向长短期记忆网络和四层全连接网络的验证信号,以及自身的损失函数,继续训练两个子网络,得到最终的判别结果。
【技术特征摘要】
1.一种基于人脸特征点信息与双网络联合训练的表情识别方法,其特征在于,包括以下步骤:1.1、抽取关键帧步骤:采集人脸图片序列,进行人脸特征点定位,累计图片子序列中所有相邻图片的特征点位移,抽取累计位移最大的图片子序列为关键帧序列;1.2数据预处理步骤:对关键帧序列的特征点信息进行归一化及加噪处理,作为输入特征;1.3独立训练步骤:将输入特征分别送入双层双向长短期记忆网络和四层全连接网络,分别独立训练;1.4联合训练步骤:将双层双向长短期记忆网络和四层全连接网络的特征层相加,基于来自双层双向长短期记忆网络和四层全连接网络的验证信号,以及自身的损失函数,继续训练两个子网络,得到最终的判别结果。2.根据权利要求1所述的表情识别方法,其特征在于,抽取关键帧步骤具体如下:将L个人脸特征点坐标对齐,其中第Ln个特征点为位于鼻子中心的特征点:图片序列的最短长度为qmin,待抽帧序列的长度为qcur,所需抽取的图片序号为tj,j=1,2,...,qmin,选取tj满足:3.根据权利要求1所述的表情识别方法,其特征在于,数据预处理步骤具体如下:根据图片序列中所有横纵坐标的方差分别为σx,σy,并对坐标归一化,加入均值为0,方差为原值5%的高斯噪声得到关键帧序列特征4.根据权利要求1所述的表情识别方法,其特征在于,独立训练步骤具体如下:全连接网络的顶层特征v3最后经过softmax激活,计算当前表情为q的概率为:双向双层长短期记忆网络在t时刻的输入特征为Ft,σ(·)为sigmoid激活函数,⊙表示按位相乘,第1层LSTM单元内的正向LSTM单元的输入门、遗忘门、输出门、隐藏状态、输出分别为:其中,→表示正向单元,i,f,o,c,h分别代表输入门、遗忘门、输出门、隐藏状态、输出,其下标表示第1层,上标t、t-1分别代表t、t-1时刻;在输入门i的计算中,W1i表示t时刻的输入特征Ft与t时刻的输入门间的权重矩阵,V1i表示t-1时刻的输出与t时刻的输入门间的权重矩阵,表示t时刻的输入门的偏置矩阵;遗忘门f的计算中,W1f表示t时刻的输入特征Ft与t时刻的遗忘门f1t间的权重矩阵,V1f表示t-1时刻的输出与t时刻的遗忘门f1t间的权重矩阵,表示t时刻的遗忘门f1t的偏置矩阵;输出门o的计算中,W1o表示t时刻的输入特征Ft与t时刻的输出门间的权重矩阵,V1o表示t-1时刻的输出与t时刻的输出门间的权...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。