一种基于EEG、BVP和微表情的潜在情绪识别方法技术

本发明专利技术公开了一种基于EEG、BVP和微表情信号的潜在情绪识别方法，具体包括以下步骤：一：潜在情绪数据采集；二：脑电信号特征提取；三：基于色度模型的BVP信号及其特征的提取；四：构建条件生成对抗网络实现EEG特征、BVP特征数据生成；五：构建条件生成对抗网络以实现微表情数据生成；六：基于EEG、BVP和微表情的潜在情绪识别。采用本发明专利技术的一种基于EEG、BVP和微表情信号的潜在情绪识别方法，具有简单而高效,成本低廉、精度高等优点。

【技术实现步骤摘要】
一种基于EEG、BVP和微表情的潜在情绪识别方法
本专利技术涉及图像处理
，具体涉及一种潜在情绪识别算法，特别是涉及一种基于EEG、BVP和微表情的潜在情绪识别方法。
技术介绍
情绪识别是人工智能时代的一个重要课题，随着深度神经网络和机器学习的崛起，目前基于人工智能的情绪识别已经发展的如火如荼，可用于国家安全部门、刑侦司法机关、特殊群体心理监测等。现阶段对情绪识别可以分为对生理信号的情绪识别、对人脸面部(微)表情的识别、以及融合人脸(微)表情与生理信号的情绪识别。其中潜在情绪研究主要对生理信号和微表情等较不明显的信号进行情绪识别，基于此类信号的潜在情绪识别可以避免人为故意隐藏或克制其真实情绪的行为所带来的误判问题。随着脑电采集设备的应用，基于脑电信号(EEG)的潜在情绪识别也得到了快速的发展，众多国内外学者如Picard、Kim、刘光远教授团队、王焕焕等人通过提取多种脑电信号并分别用特征降维和机器学习的方法实现潜在情绪识别，并取得不错的识别率；脸部血容量脉冲(BVP)信号作为一种可快速提取的生理信号近年来也被用于潜在情绪识别，任福继等人通过视频提取BVP信号并对其提取时频域特征进而实现对情绪的识别；微表情作为一种常见的情绪识别信号近年来得到广泛的研究，同时计算机视觉科学家将深度学习模型应用于微表情识别，例如卷积神经网络(CNN)、循环神经网络(RNN)、长短时记忆网络(LSTM)。但上述方法仅从单一的角度实现潜在情绪识别，并没有考虑到情绪的产生是一个多种信号共存的情况，没有考虑到多种情绪信号之间的相互作用，进而导致识别效果差且浪费大量系统资源，同时具有包含多种情绪信息的数据库较为匮乏。
技术实现思路
针对现有技术中存在的问题，本专利技术提供一种基于EEG、BVP和微表情信号的潜在情绪识别方法，其具体技术方案包括以下步骤：步骤一：潜在情绪数据采集。通过诱发视频的方式使被试者产生对应的情绪状态，通过NeuroscanSynamps2脑电放大器采集脑电信号采集EEG脑电信号，通过摄像头采集人脸面部数据，一方面用于提取微表情，另一方面通过色度模型提取BVP信号；步骤二：脑电信号特征提取。对上一步提取的脑电信号提取其小波细节系数、协调关系度和Lempel-Ziv复杂度等直接特征，并与EMD分解特征融合构建混沌特征矩阵；步骤三：基于色度模型的BVP信号及其特征的提取。对包含情绪状态的视频数据进行逐帧人脸检测，计算RGB三通道像素均值，基于色度模型提取BVP信号，通过计算BVP信号相邻主波峰时间间隔(P-P间隔)得到BVP变异信号，计算上述两种信号的时频特征并构建混沌矩阵；步骤四：构建条件生成对抗网络实现EEG特征、BVP特征数据生成。该网络包括两个生成器和两个判别器，其中生成器具体为EEG特征生成器、BVP特征生成器，分别用于EEG特征向量、BVP特征向量的生成，对应的两个判别器为EEG特征判别器、BVP特征判别器，分别用于判断所生成的EEG特征、BVP特征是否符合真实规律。将步骤二和步骤三中得到的混沌特征矩阵作为条件输入到EEG特征判别器和BVP特征判别器中，有监督的指导数据生成，通过生成器和判别器的多次相互博弈，产生以假乱真的数据，利用判别器分别对两种生成的数据进行识别，将两种识别结果通过D-S证据理论融合得到基于EEG特征和BVP特征的潜在情绪识别结果；步骤五：构建条件生成对抗网络以实现微表情数据生成。该网络包括一个生成器和一个判别器，其中生成器为微表情生成器，用于生成微表情序列，对应的判别器为微表情判别器，用于判断生成器所生成的微表情序列内容的真假。将步骤四中得到的两种信号的识别结果作为条件输入到微表情判别器中，用于指导数据生成，加快数据生成与判别速度，通过多次生成器与判别器的博弈，得到以假乱真的微表情数据，利用判别器进行识别，得到基于微表情的潜在情绪识别结果；步骤六：基于EEG、BVP和微表情的潜在情绪识别。潜在情绪的识别使用判别器完成，将步骤四中和步骤五中得到的识别结果再次通过D-S证据理论融合得到基于EEG、BVP和微表情的潜在情绪识别结果。进一步地，在步骤四中，EEG特征生成器、BVP特征生成器均选用LSTM生成器，包含十六个部分，每一部分由一个LSTM层和全连接层组成，利用生成器将随机噪声生成类似真实信号，将得到的信号通过判别器进行对抗；EEG特征判别器和BVP特征判别器均由残差网络+LSTM构成，第一部分包括一个二维卷积层和一个LeakyReLU层，第二部分到第四部分有相同的结构，包含一个二维卷积层、一个BatchNorm2d层和一个LeakyReLU层，第五部分包含一个二维卷积层和一个Sigmoid层，最终输出判别结果。在生成对抗期间，将步骤二和步骤三中得到的混沌特征矩阵作为条件输入到EEG特征判别器和BVP特征判别器中，可以指导数据的生成，加快生成速度。最后通过判别器对生成的两种数据进行识别，将得到的两种识别结果通过D-S证据理论融合得到基于EEG和BVP的潜在情绪识别结果；进一步地，在步骤五中，微表情生成器包含七个部分，第一部分到第六部分结构相同，包含一个二维反卷积层，一个BatchNorm2d层和一个RELU层，第七部分包含一个二维反卷积层和一个Tanh层；微表情判别器包含五个部分，第一部分包括一个二维卷积层和一个LeakyReLU层，第二部分到第四部分有相同的结构，包含一个二维卷积层、一个BatchNorm2d层和一个LeakyReLU层，第五部分包含一个二维卷积层和一个Sigmoid层。为加快数据生成效率，将步骤四中融合后的结果输入到判别器中有监督的指导数据生成。本专利技术旨在解决潜在情绪识别中数据量较少，且信号较为单一的问题，提出一种基于EEG、BVP和微表情的潜在情绪识别方法。相比于传统情绪识别的方法，本专利技术充分考虑到多种信息之间的相互耦合关系，可以更好地表征情绪状态。同时针对数据量不足的问题，通过采集部分数据后，采用生成对抗网络进行数据生成，并在生成对抗期间加入特征标签，加快网络训练，有监督的加速数据的生成。附图说明图1本专利技术一种基于EEG、BVP和微表情的潜在情绪识别方法流程图；图2本专利技术一种基于EEG、BVP和微表情的潜在情绪识别方法脑电采集装置电极位置图；图3本专利技术一种基于EEG、BVP和微表情的潜在情绪识别方法数据采集流程图。具体实施方案：以下将结合附图，对本专利技术方案作进一步说明。一种基于EEG、BVP和微表情的潜在情绪识别方法，步骤如图1所示。步骤一：潜在情绪数据采集。通过诱发视频的方式使被试者产生对应的情绪状态，通过NeuroscanSynamps2脑电放大器采集脑电信号采集EEG脑电信号，通过摄像头采集人脸面部数据，一方面用于提取微表情，另一方面通过色度模型提取BVP信号；NeuroscanSynamps2脑电放大器共有16个电极，供实验者进行佩戴，电极图如图2所示。其中，CMS和DRL为两个参考电极，其余的14个电极用来搜集脑电本文档来自技高网...

【技术保护点】
1.一种基于EEG、BVP和微表情信号的潜在情绪识别方法，其特征在于，主要包括以下几个步骤：/n步骤一：潜在情绪数据采集。通过诱发视频的方式使被试者产生对应的情绪状态，通过Neuroscan Synamps2脑电放大器采集脑电信号采集EEG脑电信号，通过摄像头采集人脸面部数据，一方面用于提取微表情，另一方面通过色度模型提取BVP信号；/n步骤二：脑电信号特征提取。对上一步提取的脑电信号提取其小波细节系数、协调关系度和Lempel—Ziv复杂度等直接特征，并与EMD分解特征融合构建混沌特征矩阵；/n步骤三：基于色度模型的BVP信号及其特征的提取。对包含情绪状态的视频数据进行逐帧人脸检测，计算RGB三通道像素均值，基于色度模型提取BVP信号，通过计算BVP信号相邻主波峰时间间隔(P-P间隔)得到BVP变异信号，计算上述两种信号的时频特征并构建混沌矩阵；/n步骤四：构建条件生成对抗网络实现EEG特征、BVP特征数据生成。该网络包括两个生成器和两个判别器，其中生成器具体为EEG特征生成器、BVP特征生成器，分别用于EEG特征向量、BVP特征向量的生成，对应的两个判别器为EEG特征判别器、BVP特征判别器，分别用于判断所生成的EEG特征、BVP特征是否符合真实规律。将步骤二和步骤三中得到的混沌特征矩阵作为条件输入到EEG特征判别器和BVP特征判别器中，有监督的指导数据生成，通过生成器和判别器的多次相互博弈，产生以假乱真的数据，利用判别器分别对两种生成的数据进行识别，将两种识别结果通过D-S证据理论融合得到基于EEG特征和BVP特征的潜在情绪识别结果；/n步骤五：构建条件生成对抗网络以实现微表情数据生成。该网络包括一个生成器和一个判别器，其中生成器为微表情生成器，用于生成微表情序列，对应的判别器为微表情判别器，用于判断生成器所生成的微表情序列内容的真假。将步骤四中得到的两种信号的识别结果作为条件输入到微表情判别器中，用于指导数据生成，加快数据生成与判别速度，通过多次生成器与判别器的博弈，得到以假乱真的微表情数据，利用判别器进行识别，得到基于微表情的潜在情绪识别结果；/n步骤六：基于EEG、BVP和微表情的潜在情绪识别。潜在情绪的识别使用判别器完成，将步骤四中和步骤五中得到的识别结果再次通过D-S证据理论融合得到基于EEG、BVP和微表情的潜在情绪识别结果。/n...

【技术特征摘要】
1.一种基于EEG、BVP和微表情信号的潜在情绪识别方法，其特征在于，主要包括以下几个步骤：
步骤一：潜在情绪数据采集。通过诱发视频的方式使被试者产生对应的情绪状态，通过NeuroscanSynamps2脑电放大器采集脑电信号采集EEG脑电信号，通过摄像头采集人脸面部数据，一方面用于提取微表情，另一方面通过色度模型提取BVP信号；
步骤二：脑电信号特征提取。对上一步提取的脑电信号提取其小波细节系数、协调关系度和Lempel—Ziv复杂度等直接特征，并与EMD分解特征融合构建混沌特征矩阵；
步骤三：基于色度模型的BVP信号及其特征的提取。对包含情绪状态的视频数据进行逐帧人脸检测，计算RGB三通道像素均值，基于色度模型提取BVP信号，通过计算BVP信号相邻主波峰时间间隔(P-P间隔)得到BVP变异信号，计算上述两种信号的时频特征并构建混沌矩阵；
步骤四：构建条件生成对抗网络实现EEG特征、BVP特征数据生成。该网络包括两个生成器和两个判别器，其中生成器具体为EEG特征生成器、BVP特征生成器，分别用于EEG特征向量、BVP特征向量的生成，对应的两个判别器为EEG特征判别器、BVP特征判别器，分别用于判断所生成的EEG特征、BVP特征是否符合真实规律。将步骤二和步骤三中得到的混沌特征矩阵作为条件输入到EEG特征判别器和BVP特征判别器中，有监督的指导数据生成，通过生成器和判别器的多次相互博弈，产生以假乱真的数据，利用判别器分别对两种生成的数据进行识别，将两种识别结果通过D-S证据理论融合得到基于EEG特征和BVP特征的潜在情绪识别结果；
步骤五：构建条件生成对抗网络以实现微表情数据生成。该网络包括一个生成器和一个判别器，其中生成器为微表情生成器，用于生成微表情序列，对应的判别器为微表情判别器，用于判断生成器所生成的微表情序列内容的真假。将步骤四中得到的两种信号的识别结果作为条件输入到微表情判别器中，用于指导数据生成，加快数据生成与判别速度，通过多次生成器与判别器的博弈，得到以假乱真的微表...

【专利技术属性】
技术研发人员：相虎生，王锋，牛锦，张美艳，宋剑桥，贾海蓉，马军辉，师泽州，相宸卓，王飞，赵晨晨，
申请(专利权)人：道和安邦天津安防科技有限公司，
类型：发明
国别省市：天津;12