一种结合心率与面部表情面向游戏用户的非接触式情感识别方法技术

本发明专利技术提供一种结合心率与面部表情面向游戏用户的非接触式情感识别方法，包括步骤：（1）信息采集：采集玩家的面部信息；（2）心率训练：计算玩家的心率频率范围，识别心率包含的情感，最后实现心率模式的分类；（3）面部表情训练：对采集到的人脸视频帧实时分割出ROI，接着进行Gabor特征提取和LDA降维，再融合成的强分类器实现面部表情的分类；(4)情感判定：对玩家的情感初步判断；再利用模糊积分融合心率和面部表情进行情感判定。本发明专利技术只需Kinect2的摄像头可完成对玩家面部信息的非侵入式采集，另外红外摄像头保证输入信息不受光照条件影响，给游戏开发者提供有用的经验，从而设计出最大化用户体验的游戏。

A Non-contact Emotional Recognition Method for Game Users Combining Heart Rate and Facial Expressions

The invention provides a non-contact emotional recognition method for game users, which combines heart rate and facial expression, including the following steps: (1) information acquisition: acquisition of player's facial information; (2) heart rate training: calculation of player's heart rate frequency range, recognition of emotion contained in heart rate, and finally realizing classification of heart rate pattern; (3) facial expression training: acquisition of face video Real-time frame segmentation ROI, then Gabor feature extraction and LDA dimensionality reduction, and then fusion into a strong classifier to achieve facial expression classification; (4) emotional judgment: the player's emotional preliminary judgment; and then use fuzzy integral fusion heart rate and facial expression emotional judgment. The invention only needs a Kinect2 camera to complete the non-intrusive acquisition of player's facial information. In addition, the infrared camera ensures that input information is not affected by illumination conditions, and provides useful experience to game developers, thereby designing a game that maximizes user experience.

【技术实现步骤摘要】
一种结合心率与面部表情面向游戏用户的非接触式情感识别方法
本专利技术属于情感识别领域，特别涉及一种结合心率与面部表情面向游戏用户的非接触式情感识别方法。
技术介绍
游戏由于呈现的消息具有互动性和有趣性而吸引了越来越多的用户，游戏的主要目标就是为用户提供情感体验，如乐趣和兴奋等，而情感识别能够得到用户在游戏过程中的实时情感来调整游戏难度或内容从而保证用户的参与度，以增强游戏体验。目前情感识别主要通过两种途径实现，一是通过获取被测试对象的情感行为，如面部表情，面部微动作，语音等；二是通过检测被测试对象的生理信号，如心率、心率变异性等。然而，人的表情可以受到自身控制，仅依靠表情判断其情感状态的真实性和可靠性较低。通常生理信号不受主观意识支配，用来进行情感识别更具客观性。研究表明结合面部信息与生理信号能得到更好的识别效果。对游戏用户进行情感识别，需要做到不干扰用户的游戏进程以保持他/她的参与度从而得到用户的真实情感。一方面目前大量的情感识别方法都是侵入式的，导致被测者产生一定的心理负担，使识别结果与被测者真实的情感有所偏差；另一方面人的情感是通过持续的方式感知的，因此以连续的方式判别人的情感更为准确。
技术实现思路
本专利技术的目的在于获得用户的真实情感以及时调整游戏的行为以最大化用户的娱乐或学习，提出了一种结合心率与面部表情面向游戏用户的非接触式情感识别方法，包括心率的频率计算和模式分类，人脸面部表情的识别以及融合心率与面部表情的情感判定，它可以实现对“兴奋”、“愤怒”、“悲伤”、“平静”四种情绪的非接触式识别并达到了87.3％的平均识别准确率，同时心率频率反映了情感的强烈程度。一种结合心率与面部表情面向游戏用户的非接触式情感识别方法，包括心率的频率计算和模式分类，人脸面部表情的识别以及融合心率与面部表情的情感判定；该方法包括如下步骤：S1.信息采集阶段：使用Kinect2的RGB(red-green-blue)颜色摄像头和红外摄像头采集玩家的面部信息；S2.心率训练阶段：对采集的RGB数据和红外数据利用JADE(JointApproximationDiagonalizationofEigen-matrices，特征矩阵联合相似对角化)算法和FFT(FastFourierTransform，快速傅里叶变换)计算出玩家的心率频率范围，再通过RNN(RecurrentNeuralNetwork，递归神经网络)和Bi-LSTM-CRF(BidirectionalLongandShortTermMemoryNetworkConditionalRandomField，双向长短期记忆网络条件随机场)识别心率包含的情感，最后通过Softmax分类器实现心率模式的分类；S3.面部表情训练阶段：利用KinectAMM算法对采集到的人脸视频帧实时分割出ROI(RegionofInterest，感兴趣区)，接着对经过预处理的ROI进行Gabor函数特征提取和LDA(LinearDiscriminantAnalysis，线性判别分析)降维，再通过SVM(supportvectormachine，支持向量机)和Adaboost(迭代算法)融合成的强分类器实现面部表情的分类；S4.情感判定阶段：先利用心率频率和面部表情识别结果根据情感判定规则(如表1所示)对玩家的情感进行初步判断，提前检测最终识别情感的正确性；再利用模糊积分融合心率和面部表情进行情感判定。表1情感判定规则进一步的，所述步骤S1具体包括：待玩家(身体状况良好)的心率趋于正常值后，玩家在环境光条件下保持身体正直坐于电脑前进行游戏，玩家位于Kinect2的检测范围内同时保持玩家的面部能被Kinect2的摄像头捕捉到，使用RGB颜色摄像头和红外摄像头以30fps(framepersecond，帧/秒)的工作频率，连续采集玩家30秒内的面部信息。进一步的，所述步骤S2包括以下步骤：对从RGB和红外四个通道采集到数据的信号进行归一化，再使用JADE算法对四个通道信号的归一化值进行独立分量分析实现信号的分离，独立分量分析的步骤如下所示：①形成样本协方差并计算出白化矩阵②形成白化过程的样本四阶累积量计算n对最重要的特征对③通过归一化矩阵对集合进行联合对角化；④可以估计再对经过分离的四个独立分量信号调用FFT得到匹配的心率频率范围。我们使用RNN将具有速度和方向的连续动作心率信号点序列(N个采集点)编码为矢量并将其记录为{hN}。当前的输出是由视频序列、当前输入和先前状态确定的。一般情况下，假定当前给定的输入由下列等式表示：x＝{x1,x2,…,xt,…,xT},在这个方程中，t代表第t帧，T代表总帧数。我们可以得到：ht＝σh(Wxhxt+Whhht-1+bh)式中ht表示隐藏层在t时刻的输出，Wxh表示代表从输入层到隐藏层的权重矩阵，Whh表示来自隐藏层的权重矩阵，bh表示隐藏层的偏差，σh表示激活函数，最后我们可以得出下式：yt＝σy(Whoht+bo)式中yt表示第t个序列的预测标签，Who表示从隐藏层到输出的权重矩阵，bo代表了输出的偏差，σy表示激活函数。除了外部RNN循环，LSTM还具有内部“LSTM细胞”循环(自循环)。因此，LSTM不会简单地将非线性元素应用于输入和循环单元的变换。然而，自循环本身的权重(或相关的时间常数)由遗忘门(时间t和细胞i)控制，并且权重由sigmoid函数设置为0和1：式中x(t)是当前的输入矢量，h(t)是当前隐藏层的矢量并且包含LSTM细胞的所有输出，bf,Uf和Wf分别为偏置，输入权重和遗忘门的循环权重。因此，LSTM细胞的内部状态如下更新，其中存在条件自环权重式中b,U和W分别是LSTM细胞中遗忘门的偏差，输入权重和循环权重，外部输入门单元类似于遗忘门(用sigmoid函数设置一个介于0和1之间的值)但具有其自身的参数。LSTM细胞的输出也可以由输出门关闭(sigmoid是输出门的门控制)：式中b°,U°和W°分别是偏置，输入权重和遗忘门的循环权重，在b°,U°和W°这些变量中，你可以选择使用细胞状态作为附加输入(及其权重)并进入单元i的输入门，遗忘门，输出门；尽管LSTM可以捕获长期序列信息，但它只考虑一个方向，即LSTM中的当前帧仅受当前状态的影响，为了加强心率序列的双边关系，即处理当前帧时也考虑下一帧。Bi-LSTM包括前向LSTM和后向LSTM，最终输出结果可以由以下公式得出：yt＝σ(ht)式中表示前向LSTM层的输出，，前向LSTM层将从x1到xT的序列作为输入，表示后向LSTM层的输出，，前向LSTM层将从xT到x1的序列作为输入，α和β表示前向LSTM和后向LSTM的重要性(α+β＝1)，ht表示两个Softmax函数的元素总和，yt表示预测标签。由于Bi-LSTM可以捕获更多结构信息，因此它比单向LSTM的性能更好。再利用CRF(conditionalrandomfieldalgorithm，条件随机场算法)对输出结果进行优化，CRF更关注整个序列的局部特征的线性加权组合(通过特征模板扫描整个序列)，关键点是CRF的模型是p(y|x,w)，是对序列y＝(y1,y2,...,yn)进行优化，而不是特定时间点的序列yt本文档来自技高网...

【技术保护点】
1.一种结合心率与面部表情面向游戏用户的非接触式情感识别方法，其特征在于，该方法包括如下步骤：S1.信息采集阶段：使用Kinect 2的RGB颜色摄像头和红外摄像头采集玩家的面部信息；S2.心率训练阶段：对采集的RGB数据和红外数据利用JADE算法和FFT计算出玩家的心率频率范围，再通过RNN和Bi‑LSTM‑CRF识别心率包含的情感，最后通过Softmax实现心率模式的分类；S3.面部表情训练阶段：利用Kinect AMM(基于Kinect的主动外观模型)算法对采集到的人脸视频帧实时分割出ROI，接着对经过预处理的ROI进行Gabor函数特征提取和LDA降维，再通过SVM和Adaboost融合成的强分类器实现面部表情的分类；S4.情感判定阶段：先利用心率频率和面部表情识别结果根据情感判定规则对玩家的情感进行初步判断，提前检测最终识别情感的正确性；再利用模糊积分融合心率和面部表情进行情感判定。

【技术特征摘要】
1.一种结合心率与面部表情面向游戏用户的非接触式情感识别方法，其特征在于，该方法包括如下步骤：S1.信息采集阶段：使用Kinect2的RGB颜色摄像头和红外摄像头采集玩家的面部信息；S2.心率训练阶段：对采集的RGB数据和红外数据利用JADE算法和FFT计算出玩家的心率频率范围，再通过RNN和Bi-LSTM-CRF识别心率包含的情感，最后通过Softmax实现心率模式的分类；S3.面部表情训练阶段：利用KinectAMM(基于Kinect的主动外观模型)算法对采集到的人脸视频帧实时分割出ROI，接着对经过预处理的ROI进行Gabor函数特征提取和LDA降维，再通过SVM和Adaboost融合成的强分类器实现面部表情的分类；S4.情感判定阶段：先利用心率频率和面部表情识别结果根据情感判定规则对玩家的情感进行初步判断，提前检测最终识别情感的正确性；再利用模糊积分融合心率和面部表情进行情感判定。2.根据权利要求1所述的一种结合心率与面部表情面向游戏用户的非接触式情感识别方法，其特征在于，所述步骤S1具体包括：待玩家的心率趋于正常值后，玩家在环境光条件下保持身体正直坐于电脑前进行游戏，玩家位于Kinect2的检测范围内同时保持玩家的面部能被Kinect2的摄像头捕捉到，使用RGB颜色摄像头和红外摄像头以设定的工作频率30fps，连续采集玩家30秒内的面部信息。3.根据权利要求1所述的一种结合心率与面部表情面向游戏用户的非接触式情感识别方法，其特征在于，所述步骤S2包括以下步骤：对从RGB和红外四个通道采集到的数据进行归一化，再使用JADE算法对四个通道的归一化值进行独立分量分析实现信号的分离，独立分量分析的步骤如下所示：(1)求出观察信号的样本协方差并计算出白化矩阵x是由来自四个通道信号组成观察信号矩阵；(2)形成白化过程的样本四阶累积量x(t)是某一时刻的观测信号矩阵；计算n对最重要的特征对的集合r表示第r个特征对，n表示特征对总数；(3)通过归一化矩阵对集合进行联合对角化；(4)估计混合矩阵再对经过分离的四个独立分量信号调用FFT得到匹配的心率频率范围；使用RNN将具有速度和方向的连续动作心率信号点序列即N个采集点编码为矢量并记录为{hN}，当前的输出是由视频序列、当前输入和先前状态确定的；假定当前给定的输入由下列等式表示：x＝{x1,x2,…,xt,…,xT},等式中的t代表第t帧，T代表总帧数，得到：ht＝σh(Wxhxt+Whhht-1+bh)式中x代表输入信号向量，h，hh均代表隐藏层，ht表示隐藏层在t时刻的输出，Wxh表示代表从输入层到隐藏层的权重矩阵，Whh表示来自隐藏层的权重矩阵，bh表示隐藏层的偏差，σh表示隐藏层的激活函数，最后得出下式：yt＝σy(Whoht+bo)式中o表示输出，yt表示第t个序列的预测标签，Who表示从隐藏层到输出的权重矩阵，bo代表了输出的偏差，σy表示预测标签的激活函数；除了外部RNN循环，长短期记忆网络(LSTM)还具有内部LSTM细胞循环即自循环；自循环的权重或时间常数，由遗忘门控制，并且权重由sigmoid函数设置为0和1，S型生长曲线，记作σ：式中t表示第t个时刻，i表示第i个细胞，f表示遗忘门，σ代表sigmoid函数，x(t)是当前的输入矢量，h(t)是当前隐藏层的矢量并且包含LSTM细胞的所有输出，bf,Uf和Wf分别为偏置，输入权重和遗忘门的循环权重；j为输入门和遗忘门的循环次数，LSTM细胞的内部状态如下更新，其中存在条件自环权重式中b,U和W分别是LSTM细胞中遗忘门的偏差，输入权重和循环权重，h代表隐藏层，外部输入门单元用sigmoid函数设置一个介于0和1之间的值且具有自身的参数：通过输出门sigmoid函数控制输出门来关闭LSTM细胞的输出式中bo,Uo,和Wo分别是偏置、输入权重和遗忘门的循环权重，在bo,Uo和Wo这些变量中，使用细胞状态作为附加输入及细胞的权重进入单元i的输入门，遗忘门，输出门；表示在t时刻第j次循环的输入信号，所述LSTM当前帧仅受当前状态的影响，处理当前帧时需要考虑下一帧，Bi-LSTM包括前向LSTM和后向LSTM，最终输出结果由以下公式得出：yt＝σ(ht)式中f表示前向LSTM层，b表示后向LSTM层，前向LSTM层把从x1到xT的序列作为输入,表示前向LSTM层的输出，后向LSTM层把从xT到x1的序列作为输入，表示后向LSTM层的输出；α和β(α+β＝1)分别表示前向LSTM和后向LSTM的重要性；ht表示和两个Softmax函数的元素总和，yt表示预测标签；再利用CRF对输出结果进行优化，，CRF的模型为p(y|x,w)，p(y|x,w)代表一个联合概率并以优化整个序列为最终目标；CRF对序列y＝(y1,y2,...,yn)进行优化，当y＝(y1,y2,...,yn|x,w)取最大值时可以找到具有最高概率y＝(y1,y2,...,yn)的序列；最后，CRF的输出结果被融合到Softmax分类器中以获得最终的分类结果。4.根据权利要求1所述的一种结合心率与面部表情面向游戏用户的非接触式情感识别方法，其特征在于，所述步骤S3包括以下步骤：利用KinectAMM算法对捕捉的人脸图像帧实时分割出ROI，ROI由5个...

【专利技术属性】
技术研发人员：杜广龙，梁殷浩，李方，张平，
申请(专利权)人：华南理工大学，
类型：发明
国别省市：广东,44