基于深度学习和脑机接口的情绪识别系统及应用技术方案

一种基于深度学习和脑机接口的情绪识别系统及应用，包括依次连接的便携式脑电采集设备、情绪脑电分类模块和情绪分类显示模块，所述便携式脑电采集设备从被试者大脑采集情绪EEG脑电信号，所述的情绪脑电分类模块对情绪EEG脑电信号进行分析，建立情绪EEG脑电信号与情绪之间的关系模型，通过关系模型，对输入的情绪EEG脑电信号进行情绪分类，所述的情绪分类显示模块显示识别出的情绪种类，提示被试者情绪状态。本发明专利技术的基于深度学习和脑机接口的情绪识别系统及应用，能够实现对情绪脑电信号的准确获取、有效辨识和正确分类，并直观提示情绪状态，实现情绪状态监测的功能。本发明专利技术直接建立脑电信号和情绪种类之间的对应关系，实现对情绪的反馈。

【技术实现步骤摘要】
基于深度学习和脑机接口的情绪识别系统及应用
本专利技术涉及一种情绪识别系统。特别是涉及一种基于深度学习和脑机接口的情绪识别系统及应用。
技术介绍
情绪是人受到外界事物刺激时的反应，是一种广泛而复杂的生理和心理状态。人的情绪状态种类繁多，心理学家Ekman将其大致定义为高兴、生气、吃惊、恐惧、厌恶和悲伤六种。事实上，还有很多其他的情绪状态，如羞愧，傲慢，失望，焦虑等。人的情绪状态往往反应了一个人对外在事物的态度与看法，通过情绪识别可以帮助人们提高设备使用安全性，分析日常行为潜在情感因素。例如，在康复医疗方面，可以帮助医生诊断以及预防如抑郁症、创伤后应激障碍等问题。同时，根据患者的情绪反应可以方便医护人员提供更好的医疗护理，以辅助患者的康复。在交通运输方面，可以通过情绪检测分析驾驶员的精神状态，如是否疲劳，清醒程度如何，是否紧张焦虑等，来确保驾驶安全。在教育行业，可以通过学生对不同科目的情绪反应开发学生特长，进行更有针对性的辅导。同时，当学生大脑负荷较重，显示出疲劳情绪时，提示教师活跃课堂或者短暂休息，确保课堂效率。对情绪的精确识别可以从很多方面提升我们的生活质量。人的情绪可以通过各种途径反映出来，例如面部表情、语音语调、动作眼神等等。现阶段情绪识别可以利用包括表情、语音、动作以及生理信号等模态。其中，生理信号特别是脑电信号(Electroencephalogram,EEG)不容易受到人为因素的影响。由于脑电信号的稳定性，基于脑电信号的情绪分类工作得到广泛关注。然而在实际应用中，利用脑电信号进行情绪分析还存在着很多挑战。首先，脑电采集过程比较困难，想要获得稳定的脑电信号对采集设备、被试者、外部环境都有一定的要求。尽管植入式和半植入式脑电电极能获得更稳定的信号，但其操作复杂，日常使用可行性较低。目前业界普遍采用的是非植入式脑电电极，虽然有便携、操作简单等优点，但容易收到外界噪声影响。其次，脑电信号具有强度弱和背景噪声强的特点，想要得到真实有效的脑电信号需要先进的预处理技术。同时，在分类工作时，需要一些处理技术从大量信号样本中提取特征，以建立信号与情绪状态之间的对应关系，这个过程对处理方法的准确性要求很高。最近，复杂网络理论作为一种多学科融合方法为复杂系统分析提供了新的途径。其中，多层网络由于其多尺度特性，在分析时空数据集上具有优势。人类大脑是一个复杂系统，复杂网络无疑是分析人脑信号在多空间、多尺度上的交互模式的有力工具。其中，利用脑电信号建立脑网络进行分析的方法也越来越受到关注。将脑电极被设定为节点，通过各种各样的相关性测度确定节点之间的连边以建立脑网络。通过对脑网络特性的研究可以深化对脑电信号特征的理解。随着计算机处理速度和计算能力的提升，使用深度学习处理大数据样本成为可能。作为人工智能领域的前沿技术，深度学习是一种端到端的学习方法，它可以自动学习并提取输入样本的抽象特征，不用进行人工的操作分析，大大提高了处理效率。脑电信号数据具有数量大，特征多，变化快的特点，使用深度学习方法分析脑电数据优势明显。其中，卷积神经网络(ConvolutionalNeuralNetwork,CNN)有权值共享和局部感知的特点，有效降低了模型参数数量和复杂性，使得模型更易于训练。同时，它更接近实际的生物神经网络，具有对于平移、旋转、尺度缩放等形式的变有度的不变性，可以有效从大量样本中学习到相应的特征。Densenet作为一种基于卷积神经网络的深度学习模型，有着参数节省，计算效率高，一定抗过拟合的特性，在分析大数据样本上具有很大潜力。
技术实现思路
本专利技术所要解决的技术问题是，提供一种能够实现对情绪脑电信号的准确获取、有效辨识和正确分类的基于深度学习和脑机接口的情绪识别系统及应用。本专利技术所采用的技术方案是：一种基于深度学习和脑机接口的情绪识别系统，包括依次连接的便携式脑电采集设备、情绪脑电分类模块和情绪分类显示模块，所述便携式脑电采集设备从被试者大脑采集情绪EEG脑电信号，所述的情绪脑电分类模块对情绪EEG脑电信号进行分析，建立情绪EEG脑电信号与情绪之间的关系模型，通过关系模型，对输入的情绪EEG脑电信号进行情绪分类，所述的情绪分类显示模块显示识别出的情绪种类，提示被试者情绪状态。一种基于深度学习和脑机接口的情绪识别系统的应用，包括如下步骤：1)使用者观看不同的情感视频，在视频刺激下产生三种不同的情绪，分别是积极、中性和消极；2)使用便携式脑电采集设备采集使用者三种不同情绪下的情绪EEG脑电信号，根据情绪EEG脑电信号和相应的情绪标签训练情绪分类深度学习模型；3)使用便携式脑电采集设备采集使用者待识别的新的情绪EEG脑电信号，并输入到用于情绪分类检测的双输入深度学习模型，对新的情绪EEG脑电信号进行情绪分类；4)通过显示器显示出当前情绪种类，提示使用者的情绪状态。本专利技术的基于深度学习和脑机接口的情绪识别系统及应用，能够实现对情绪脑电信号的准确获取、有效辨识和正确分类，并直观提示情绪状态，实现情绪状态监测的功能。本专利技术直接建立脑电信号和情绪种类之间的对应关系，实现对情绪的反馈。附图说明图1是本专利技术基于深度学习和脑机接口的情绪识别系统的构成框图；图2是本专利技术中便携式脑电采集设备构成框图；图3是本专利技术中构建多层脑复杂网络的流程图；图4是本专利技术中双输入深度学习模型的结构示意图；图5是本专利技术基于深度学习和脑机接口的情绪识别系统的应用示意图；具体实施方式下面结合实施例和附图对本专利技术的基于深度学习和脑机接口的情绪识别系统及应用做出详细说明。如图1所示，本专利技术的基于深度学习和脑机接口的情绪识别系统，包括依次连接的便携式脑电采集设备1、情绪脑电分类模块2和情绪分类显示模块3，所述便携式脑电采集设备1从被试者大脑采集情绪EEG脑电信号，所述的情绪脑电分类模块2对情绪EEG脑电信号进行分析，建立情绪EEG脑电信号与情绪之间的关系模型，通过关系模型，对输入的情绪EEG脑电信号进行情绪分类，所述的情绪分类显示模块3显示识别出的情绪种类，提示被试者情绪状态。如图2所示，本专利技术所述的便携式脑电采集设备1包括有：依次连接的用于采集情绪EEG脑电信号的脑电极帽及其转接线11、用于情绪EEG脑电信号放大和转换的生物电信号采集模块12、用于控制情绪EEG脑电信号的采集并通过USB通信电路14向情绪脑电分类模块2传输情绪EEG脑电信号的FPGA处理器13，以及分别连接生物电信号采集模块12和FPGA处理器13的系统供电电路15，其中，所述的脑电极帽及其转接线11中的脑电极帽采集不同脑区的情绪EEG脑电信号，通过转接线及DSUB37接口与生物电信号采集模块12相连接，用于生物电信号的采集和传输；所述的生物电信号采集模块12是由数片集成了用于接收脑电帽采集的电压信号的高共模抑制比模拟输入模块、用于进行脑电压信号放大的低噪声可编程增益放大器PGA和用于将模拟信号转换为数字信号的高分辨率同步采样模数转换器ADC的生物本文档来自技高网...

【技术保护点】
1.一种基于深度学习和脑机接口的情绪识别系统，包括依次连接的便携式脑电采集设备(1)、情绪脑电分类模块(2)和情绪分类显示模块(3)，其特征在于，所述便携式脑电采集设备(1)从被试者大脑采集情绪EEG脑电信号，所述的情绪脑电分类模块(2)对情绪EEG脑电信号进行分析，建立情绪EEG脑电信号与情绪之间的关系模型，通过关系模型，对输入的情绪EEG脑电信号进行情绪分类，所述的情绪分类显示模块(3)显示识别出的情绪种类，提示被试者情绪状态。/n

【技术特征摘要】
1.一种基于深度学习和脑机接口的情绪识别系统，包括依次连接的便携式脑电采集设备(1)、情绪脑电分类模块(2)和情绪分类显示模块(3)，其特征在于，所述便携式脑电采集设备(1)从被试者大脑采集情绪EEG脑电信号，所述的情绪脑电分类模块(2)对情绪EEG脑电信号进行分析，建立情绪EEG脑电信号与情绪之间的关系模型，通过关系模型，对输入的情绪EEG脑电信号进行情绪分类，所述的情绪分类显示模块(3)显示识别出的情绪种类，提示被试者情绪状态。


2.根据权利要求1所述的基于深度学习和脑机接口的情绪识别系统，其特征在于，所述的便携式脑电采集设备(1)包括有：依次连接的用于采集情绪EEG脑电信号的脑电极帽及其转接线(11)、用于情绪EEG脑电信号放大和转换的生物电信号采集模块(12)、用于控制情绪EEG脑电信号的采集并通过USB通信电路(14)向情绪脑电分类模块(2)传输情绪EEG脑电信号的FPGA处理器(13)，以及分别连接生物电信号采集模块(12)和FPGA处理器(13)的系统供电电路(15)，其中，
所述的脑电极帽及其转接线(11)中的脑电极帽采集不同脑区的情绪EEG脑电信号，通过转接线及DSUB37接口与生物电信号采集模块(12)相连接，用于生物电信号的采集和传输；
所述的生物电信号采集模块12是由数片集成了用于接收脑电帽采集的电压信号的高共模抑制比模拟输入模块、用于进行脑电压信号放大的低噪声可编程增益放大器(PGA)和用于将模拟信号转换为数字信号的高分辨率同步采样模数转换器(ADC)的生物电信号采集芯片组成；
所述的FPGA处理器13用于调整生物电信号采集模块(12)的采集模式与参数和控制USB通信电路(14)将情绪EEG脑电信号数据向情绪脑电分类模块(2)传输；
所述的USB通信电路(14)的输出连接所述情绪脑电分类模块(2)的输入端，USB通信电路(14)工作在异步FIFO模式，最高传输速率8MB/秒，在FPGA处理器(13)的控制下周期性地将采集到的情绪EEG脑电信号以数据包的形式发送至情绪脑电分类模块(2)；
所述的系统供电电路(15)，输入电压为5V，由USB接口进行供电，通过电压转换模块提供系统不同芯片的工作电压。


3.根据权利要求1所述的基于深度学习和脑机接口的情绪识别系统，其特征在于，所述的便携式脑电采集设备(1)采集被试者情绪EEG脑电信号，是采集被试者对应于脑电极帽的FP1,FPZ,FP2,AF3,AF4,F7,F5,F3,F1,FZ,F2,F4,F6,F8,FT7,FC5,FC3,FC1,FCZ,FC2,FC4,FC6,FT8,T7,C5,C3,C1,CZ,C2,C4,C6,T8,TP7,CP5,CP3,CP1,CPZ,CP2,CP4,CP6,TP8,P7,P5,P3,P1,PZ,P2,P4,P6,P8,PO7,PO5,PO3,POZ,PO4,PO6,PO8,CB1,O1,OZ,O2,CB2共62个电极的情绪EEG脑电信号；脑电极帽的电极分布符合10/20国际标准导联；具体是使用视频片段作为情绪刺激源，采集被试者观看视频后产生相应情绪状态的情绪EEG脑电信号；所述的相应情绪状态为积极情绪状态，消极情绪状态和中性情绪状态，采集过程是：
(1)被试者观看三种不同情绪对应的视频片段，在视频源刺激期间产生情绪EEG脑电信号；
(2)在每次观看视频时，便携式脑电采集设备完成情绪EEG脑电信号采集，并为每一次采集到的情绪情绪EEG脑电信号根据刺激所用的视频设定标签，标签和情绪EEG脑电信号共同构成样本集。


4.根据权利要求1所述的基于深度学习和脑机接口的情绪识别系统，其特征在于，所述的情绪脑电分类模块(2)的运行具体包括如下步骤：
1)使用便携式脑电采集设备获取三种情绪状态的情绪EEG脑电信号构成样本集，其中c代表电极序号，L为信号采集的长度，Xc，g表示第c个电极采样到的第g个数据点的数值；
2)对情绪情绪EEG脑电信号进行滑动窗口划分，得到情绪EEG脑电信号片段，对情绪EEG脑电信号片段进行连续小波变换，将原情绪EEG脑电信号片段分为五个频段，在五个频段δ，θ，α，β，γ内分别构建脑复杂网络Af，f＝δ，θ，α，β，γ，最终得到多层脑复杂网络；
3)选取不同类别情绪脑复杂网络之间差异最大的30个节点作为关键节点，依据关键节点重构多层脑复杂网络；
4)搭建双输入深度学习模型的卷积神经网络分支，卷积神经网络分支的输入是多层脑复杂网络和对应的标签，所述的卷积神经网络分支由五层相同的卷积神经网络模型组成，每一层卷积神经网络模型对应多层脑复杂网络的五个频段δ，θ，α，β，γ中的一个频段；
5)搭建双输入深度学习模型的密集卷积网络分支，密集卷积网络分支的输入是使用小波变换进行0-50Hz滤波后的情绪EEG脑电信号和对应标签；
6)通过串联层连接所述卷积神经网络分支的输出和所述密集卷积网络分支的输出，所述的串联层与另外一个全连接层相连，全连接层输出分类结果，并用H个神经元表示，分类层选择Softmax作为激活函数，Softmax函数本质上是归一化的指数函数，定义为其中h＝1…H，e为自然对数值，zh为第h个神经元的输出，式中分母充当正则项作用，使得使用Keras框架实现深度学习模型的搭建，得到双输入深度学习模型；
7)将采集到的三种情绪状态下的情绪EEG脑电信号分为训练集和验证集，使用训练集对双输入深度学习模型进行训练，使用验证集对训练后的双输入深度学习模型进行验证，最终得到用于情绪分类检测的双输入深度学习模型。


5.根据权利要求4所述的基于深度学习和脑机接口的情绪识别系统，其特征在于，步骤2)中所述的五个频段分...

【专利技术属性】
技术研发人员：高忠科，李如梅，马超，马文庆，
申请(专利权)人：天津大学，天津富瑞隆金属制品有限公司，
类型：发明
国别省市：天津;12