用于针灸的基于深度学习的多模态情绪分析方法及系统技术方案

本发明专利技术提供了一种用于针灸的基于深度学习的多模态情绪分析方法及系统，属于情绪识别技术领域。本发明专利技术对面部表情特征采用Gabor小波变换进行特征提取，对脑电信号采用UPLBP进行特征提取，进行降维处理，然后将面部表情特征和脑电信号特征采用稀疏化线性融合，融合成为一个统一的、规范化的特征向量，并特征向量变换为张量形式，输入CNN‑LSTM网络进行训练，去除冗余信息并得到预测情绪分类信息，通过预测情绪分类信息与实际情绪分类信息对比，计算网络的损失函数和正确率。本发明专利技术通过将表情特征和脑电信号特征进行融合，去除冗余信息，经过CNN‑LSTM网络进行训练，得到预测情绪分类信息，提高了情绪识别准确率。

【技术实现步骤摘要】
用于针灸的基于深度学习的多模态情绪分析方法及系统
本专利技术涉及情绪识别
，尤其涉及一种用于针灸的基于深度学习的多模态情绪分析方法及系统。
技术介绍
情绪识别是图像识别领域一个重要分支，它根据对人的外在表情或者内在生理信号，识别人的情绪的过程。情绪虽然是一种内部的主观体验，但它总是伴随着某种外部表现，这种外部表现也就是可以观察到的某些行为特征，会在人的面部、姿态和语调方面有所表现。同时，除了外在表现之外，情绪还会在人的身体内部产生与情绪有关的生理信号，心率和脑电信号都属于情绪所引起的生理信号。情绪分析与识别涉及多个学科领域，包括神经科学、心理学、认知科学、计算机科学和人工智能等，是一项交叉学科研究。情绪识别方法一般分成两类：基于外在表情的识别和基于生理信号的识别。基于外在表情的情绪识别方法主要包括对面部表情和语调表情的识别。面部表情识别方法是根据情绪在面部表情的外在表现来识别不同的情绪；语调识别是根据情绪在语言表达方式的外在表现进行识别的。基于外在表情的缺点是不能保证情绪识别的可靠性，因为外在表情的体现与性格有关，另外，人们可以通过伪装面部表情和语音语调来掩饰自己的真实情绪，而这种伪装往往不易被发现。基于生理信号的情绪识别方法中，目前被广泛采用的是基于中枢神经系统的识别方法，原理是，人在不同情绪下在大脑都会产生不同的生理信号，也就是常说的脑电信号，通过识别脑电信号来识别不同的情绪，这种方法不易被伪装，识别率也较高。但同通过外在表情识别情绪相比，识别率还有待提高。情绪识别与分析越来越多地应用在广泛的领域，人们对情绪识别方法的探究也越来越多。在中国专利申请文献CN107463874A中，公开了一种情绪识别方法，该方法包括以下步骤：获取同一时刻或同一时间段内的被测人脸图像和脑电信号；对被测人脸图像和脑电信号分别处理，对人脸灰度图像进行特征提取，得到表情原始特征数据，对表情原始特征数据进行数据降维，得到表情特征值，将表情特征值输入预先训练好的卷积神经网络，计算得到表情参数值，脑电信号依次进行特征标准化和特征归一化处理，得到脑电特征值，通过预先训练好的SVM分类器对脑电特征值进行特征分类，得到内心情绪参数值；对表情参数值和内心情绪参数值进行数据融合处理，得到情绪融合参数值；根据情绪融合参数值与预存的情绪融合数据库中对比，识别被测人脸的当前情绪，得到情绪信息。该方法将人脸表情与脑电信号结合用于情绪识别，将融合参数跟数据库中预存的融合参数相比，得到情绪信息。该方法仅对脑电图像进行了普通数据分析(例如均值、标准差和方差等)，没有趋势或曲线形态上的认知，因此提取的特征对分类准确性有一定影响；同时，该方法对于多模态特征的融合，无法提取空间序列化的特征。在中国专利申请文献CN107220591A中，公开了一种多模态智能情绪感知系统，包括采集模块、识别模块、融合模块，采集模块采集面部表情、语音、动作以及生理信号，识别模块包括基于表情、语音、行为和生理信号的情绪识别单元，识别模块中的各情绪识别单元对多模态信息进行识别，从而获得各情绪分量，融合模块将识别模块的情绪分量进行融合，实现人体情绪的准确感知；其中，各情绪识别单元通过对采集到的视频或者图像，提取有效的特征，训练出表情、语音、动作与情绪的映射模型，在训练好的模型基础上，通过分类器对各情绪特征进行识别，从而得到各情绪分量；基于生理信号的情绪识别单元用于对通过接触或非接触式方式采集的用户生理信号，滤除生理信号中的噪声后，利用经典模态分解和希尔伯特-黄变换算法提取心电、脉搏、肌电、皮肤电、脑电和呼吸信号的生理信号的特征，通过线性融合的方法对上述特征进行特征融合，并用信息增益率对特征进行选择，最后，通过分类器对特征进行识别得到基于生理信号的情绪分量。该方法考虑了表情、语音和动作多种非生理因素和心电、脉搏、肌电、皮肤电、脑电和呼吸信号多种生理因素对情绪的表现，但正因为采用了多种信息的采集，比如语音的采集，反而会对人的情绪，造成干扰和波动，使得情绪识别准确性受到影响。在现有临床针灸中，对于针刺前后患者或者正常人情绪变化的研究多是选择量表评估等主观评价方式，缺乏数字化、量化的指标。而情绪识别在临床针灸中没有应用。现有技术至少存在以下不足：1.现有情绪识别方法，虽然将面部表情、语音等非生理表情与脑电、心率等生理因素结合进行情绪识别，但是其中，对语音信号等采集，会带来脑电、心率等干扰问题，使得情绪识别准确性受到影响。2.现有情绪识别方法，对特征值的处理，采用PCA和LBP等手段，存在降维的维度随意化和经验化，同时会带来图像边缘特征提取信息不全面等问题。3.现有情绪识别方法，对特征值的融合，采用线性融合手段，存在不同特征权重固定化等问题，对性格因素导致的各特征权重的影响没有进行考虑。4.现有临床针灸中对针刺前后患者或正常人情绪变化的研究，多是选择量表评估等主观评价方式，缺乏数字化、量化的指标。
技术实现思路
为解决现有技术中存在的技术问题，本专利技术提供了一种用于针灸的基于深度学习的多模态情绪分析方法及系统，将人脸面部表情和脑电信号特征进行结合，分别提取特征，对面部表情特征采用Gabor小波变换进行特征提取，对脑电信号采用UPLBP进行特征提取并进行降维处理，然后将面部表情特征和脑电信号特征采用稀疏化线性融合，融合成为一个统一的、规范化的特征向量，并特征向量变换为张量形式，输入CNN-LSTM网络进行训练，去除冗余信息并得到预测情绪分类信息，通过预测情绪分类信息与实际情绪信息对比，计算网络的可靠性和正确率。本专利技术通过将表情特征和脑电信号特征进行融合，去除冗余信息，经过CNN-LSTM网络进行训练，得到预测情绪分类信息，提高了情绪识别准确率。同时将该方法与针灸系统结合，捕捉随针刺治疗的进展，患者情绪所反映出人脸与脑电的特征的变化趋势，更有利于临床治疗的效果评价。本专利技术提供了一种用于针灸的基于深度学习的多模态情绪分析方法，包括以下步骤：步骤一：采集针灸时患者面部表情图像，对采集的面部表情图像进行处理，通过Gabor小波变换提取面部表情的Gabor小波特征；步骤二：采集针灸时患者的脑电曲线图像，采用均匀局部二值模式UPLBP提取脑电曲线图像的纹理特征，并对图片进行降维处理；步骤三：采用CNN-LSTM网络对步骤一和步骤二中提取的特征进行多模态特征融合，并进行情绪分类；本专利技术对多模态特征的融合，在CNN网络基础上，增加了LSTM网络，目的是对提取的图像特征，有一个时间序列化的处理。符合患者在针灸治疗的“治疗前，治疗中，治疗后”的情绪在时间上的特征。因为LSTM网络本身就是“长短时记忆网络”，有利于对含时间序列的问题进行建模。步骤四：根据情绪分类结果给出针灸系统操作建议，进行针灸力度或频率的调整。优选地，步骤三中多模态特征融合及情绪分类的具体处理过程包括：S001：将步骤一得到的面部表情图像的Gabor小波特征和步骤二得到的脑电曲线图像的特征融合成一个特征向量；S002：将融合后的特本文档来自技高网...

【技术保护点】
1.一种用于针灸的基于深度学习的多模态情绪分析方法，其特征在于，包括以下步骤：/n步骤一：采集针灸时患者面部表情图像，对采集的面部表情图像进行处理，通过Gabor小波变换提取面部表情的Gabor小波特征；/n步骤二：采集针灸时患者的脑电曲线图像，采用均匀局部二值模式UPLBP提取脑电曲线图像的纹理特征，并对图片进行降维处理；/n步骤三：采用CNN-LSTM网络对步骤一和步骤二中提取的特征进行多模态特征融合，并进行情绪分类；/n步骤四：根据情绪分类结果给出针灸系统操作建议，进行针灸力度或频率的调整。/n

【技术特征摘要】
1.一种用于针灸的基于深度学习的多模态情绪分析方法，其特征在于，包括以下步骤：
步骤一：采集针灸时患者面部表情图像，对采集的面部表情图像进行处理，通过Gabor小波变换提取面部表情的Gabor小波特征；
步骤二：采集针灸时患者的脑电曲线图像，采用均匀局部二值模式UPLBP提取脑电曲线图像的纹理特征，并对图片进行降维处理；
步骤三：采用CNN-LSTM网络对步骤一和步骤二中提取的特征进行多模态特征融合，并进行情绪分类；
步骤四：根据情绪分类结果给出针灸系统操作建议，进行针灸力度或频率的调整。


2.根据权利要求1所述的多模态情绪分析方法，其特征在于，步骤三中多模态特征融合及情绪分类的具体处理过程包括：
S001：将步骤一得到的面部表情图像的Gabor小波特征和步骤二得到的脑电曲线图像的特征融合成一个特征向量；
S002：将融合后的特征向量转换成张量形式，通过设置不同的一次训练所选取的样本数batch_size的值，进行迭代，并从每次迭代训练中随机取出训练样本作为CNN-LSTM网络的输入数据，输入到CNN-LSTM网络；
S003：调节CNN网络初始结构和网络参数，进行迭代；
S004：在CNN网络经过多层卷积池化提取图片的特征，得到五维张量特征图；
S005：在不改变特征图内数值的前提下，将五维张量特征图变换成符合LSTM输入要求的三维张量特征图，并输入到LSTM层进行处理；
S006：将LSTM层的输出输入到全连接层和函数层进行SVM分类；
S007：经过SVM分类，得到一维数组的情绪分类结果，并保存训练好的神经网络，所述一维数组包含有对应于样本训练后的预测情绪分类信息；
S008：比较预测情绪分类信息与实际情绪分类信息，得到训练好的神经网络的预测准确率。


3.根据权利要求2所述的多模态情绪分析方法，其特征在于，所述融合成一个特征向量具体包括：对提取的不同模态图像的特征采用可变权重的稀疏化线性融合进行加权处理，合成一个特征向量，特征融合加权公式表示如下：
O(x)＝γK(x)+(1-γ)F(x)(1)
其中：K(x)表示脑电曲线图像的特征；
F(x)表示面部表情特征；
γ为不同性格对脑电曲线影响的经验权重系数。


4.根据权利要求2所述的多模态情绪分析方法，其特征在于，步骤S003中，调整初始结构和网络参数具体包括：调整CNN网络初始结构中卷积层的层数和网络参数学习率。


5.根据权利要求2所述的多模态情绪分析方法，其特征在于，所述函数层采用的损失函数为softmax函数。


6.根据权利要求1所述的多模态情绪分析方法，其特征在于，步骤一中，通过Gabor小波变换进行面部...

【专利技术属性】
技术研发人员：荣培晶，李少源，李亮，
申请(专利权)人：中国中医科学院针灸研究所，
类型：发明
国别省市：北京;11