深度卷积神经网络的脑电信号情感识别方法技术

一种深度卷积神经网络的脑电信号情感识别方法，属于人机交互智能技术领域。本发明专利技术的目的是通过将深度卷积神经网络从输入的差分熵矩阵中学习其所携带的情感特征，以实现针对具体情感任务的分类准确率提升的深度卷积神经网络的脑电信号情感识别方法。本发明专利技术步骤是：采集脑电信号、数据预处理、构建差分熵矩阵、训练深度卷积神经网络模型、测试集的情感分类。本发明专利技术克服直接将情感脑电信号送入深度卷积神经网络模型中产生的复杂度高、分类准确率不够高的问题，提高了情感识别分类准确率。

【技术实现步骤摘要】
深度卷积神经网络的脑电信号情感识别方法
本专利技术属于人机交互智能

技术介绍
情感识别的实现是人机交互智能化的重要的一步。随着人工智能的迅速发展和对智能化感知和交互的迫切需求，一种能准确分析出人的情感状态的模型逐渐成为研究的热点。脑电信号因能更加客观、实时地表现人的情感变化，且不受人的主观控制，因而越来越多地被应用到情感识别中。近年来，针对脑电信号进行情感识别成为一种有效的途径。情感识别本质上也是一种模式识别问题。它是一种利用计算机捕捉并分析各种情感信号，提取其中能够描述情感的特征，建立这些特征与情感状态的映射关系，再对情感状态进行分类，从而判断出情感状态并做出反馈的过程。在情感识别问题上，利用如支持向量机、决策树等传统浅层分类模型已能得到较高的分类准确率。随着深度学习的不断发展，越来越多的相关研究希望借助其学习数据的能力，实现更高识别准确率的情感识别。深度卷积神经网络在处理海量数据和复杂分类问题上具有独到的优势，通过构建多层卷积池化模块，可以学习到更能描述输入信息本质的特征来训练模型，并能取得不错的分类效果，因此越来越多地被应用到情感识别研究领域中。目前，针对具体的脑电信号情感分类任务时，深度卷积神经网络的输入为原始脑电信号。然而，原始脑电信号直接输入可能会加大深度卷积神经网络学习的复杂度，降低整个分类过程的效率。因此，如何提升针对深度卷积神经网络的脑电信号情感识别的分类准确率，是目前此类研究的重要方向。
技术实现思路
本专利技术的目的是通过将深度卷积神经网络从输入的差分熵矩阵中学习其所携带的情感特征，以实现针对具体情感任务的分类准确率提升的深度卷积神经网络的脑电信号情感识别方法。本专利技术步骤是：步骤1：采集脑电信号；步骤2：数据预处理：首先对数据进行1000Hz采样，随后降采样到采样频率为200Hz，采用ICA方法去除眼电伪迹，并剔除脑电信号中由无效电极引起或局部损坏的部分，数字滤波器选用0.3-50Hz的带通滤波器；步骤3：构建差分熵矩阵：将预处理后的数据分割为1s信号片段,再采用256点的快速傅里叶变换对每个片段进行频域变换；频域变换后的片段包含脑电信号携带的频域信息；快速傅里叶变换的具体公式如下：其中，n表示脑电信号的时域离散点，k表示频域变换后的频率点，x(n)表示输入的脑电信号序列；差分熵特征从频域中提出，包含情感在频域上的分布信息，相比原始脑电信号，差分熵矩阵更能表征情感信息，采用以下公式计算差分熵：其中，π与e均为常数，σ2为脑电信号的方差；步骤4：训练深度卷积神经网络模型：深层卷积神经网络模型由输入层L0、第一层卷积池化模块L1、第二层卷积池化模块L2、第三层卷积池化模块L3、全连接层L4和最终输出层共六层模块构成；L0：该层为输入层，L0层的输入为步骤3中构建的差分熵矩阵训练集，输入矩阵用Pm，n表示，其中m表示导联数，1≤m≤Nelec，其中n表示频率点数，1≤n≤Nf，输入矩阵的大小为62*200；用Xl，t，(m，n)表示第l层中第t个图的(m，n)位置的神经元的输出值，用σl，t，(m，n)表示第l层中第t个图的(m，n)位置的神经元的输入值，有Xl，t，(m，n)＝f(σl，t，(m，n))(3)其中，f为激活函数，模型的激活函数选用PReLU函数：其中，kji是服从均匀分布的随机值，在激活函数作用的同时还对数据进行了批归一化处理；L1：其中，Pm，n为L1层输入矩阵，即构建的差分熵矩阵，K1为卷积核的大小(K1＝3)，ω1，t，r代表第t个卷积核中第r个神经元与输入矩阵对应位置的连接权值，b1为L1层的偏置,为经过激活函数后的输出，X1，t，(m，n)为再经过批归一化后的L1层的最终输出；L2：其中，X1，t，(m，n)为L2层输入矩阵，N2为卷积核的纵向大小，K2为卷积核的横向大小，ω2，t，(m，n)为L2层第t个卷积核中的(m，n)位置与X1，t，(m，n)对应位置的连接权值，b2为L2层的偏置；L3：其中，X2，t，(m，n)为L3层输入矩阵，N3为卷积核的纵向大小，K3为卷积核的横向大小，ω3，t，(m，n)为L3层第t个卷积核中的(m，n)位置与X2，t，(m，n)对应位置的连接权值；b3为L3层的偏置；L4：σ4，h＝X3，t，(m，n)ω4，t，(m，n)+b4，m＝1，...，50，n＝1，...，4，h＝1，...，200(9)其中，m和n分别为矩阵X3，t，(m，n)的纵向维度和横向维度，m＝1，...，50，n＝1，...，4；σ4，h为L4层的输出矩阵，1≤h≤mn；ω4，t，(m，n)为L4层卷积核中的(m，n)位置与X3，t，(m，n)对应位置的连接权值；b4为L4层的偏置；L5：其中，p(lk|fk(Xi，θ))为softmax函数生成的条件概率，它表示在给定输入Xi的情况下，最终分类为lk类别的条件概率，情感类别包含快乐、悲伤、恐惧、平和四种，其标签记为1,2,3,4；在训练整个网络时，使用负对数似然性作为损失函数来估计分类损失，加快收敛速度，提高分类能力，其具体公式为：其中，p(lk|fk(Xi，θ))为上述softmax函数生成的条件概率；θ*为反向传播中在损失函数最小的情况下修正和优化后的各个超参数；步骤5：测试集的情感分类：将差分熵矩阵测试集输入到步骤4训练的最优模型中，采用十折交叉验证法，实现模型对快乐、悲伤、恐惧、平和四种情感的分类，获的最终的分类准确率，其标签分别为1,2,3,4。本专利技术克服直接将情感脑电信号送入深度卷积神经网络模型中产生的复杂度高、分类准确率不够高的问题，相比于原始脑电信号，差分熵矩阵更能表征情感状态，在深度卷积神经网络模型的输入上选取更能够表征脑电信号中情感信息的差分熵矩阵。差分熵值与情感关联大，差分熵矩阵直接针对具体的情感分类任务，对直接将脑电信号送入深度卷积神经网络进行训练的方法做出改进，提高了情感识别分类准确率。附图说明图1为本专利技术整体实验框图；图2为本专利技术方法流程图；图3为本专利技术深度卷积神经网络模型的分层结构图。具体实施方式本专利技术步骤是：步骤1：采集脑电信号：受试者佩戴脑电采集帽后，在安静、温度适宜、无其他明显干扰的实验环境下，在受试者面前呈现直观易懂的情感视频刺激素材，并实时连续记录受试者在此期间的脑电信号。步骤2：数据预处理：对原始脑电信号进行采样，去除脑电信号的眼电伪迹，并剔除脑电信号中由无效电极引起或局部损坏的部分，用数字滤波器对脑电信号进行滤波。步骤3：构建差分熵矩阵：将预处理后的脑电信号分割为固定时长的不重叠片段，对脑电信号片段经过快速傅里叶变换后构建差分熵矩阵；其中每个片段的构成具体本文档来自技高网...

【技术保护点】
1.一种深度卷积神经网络的脑电信号情感识别方法，其特征在于：其步骤是：/n步骤1：采集脑电信号；/n步骤2：数据预处理：/n首先对数据进行1000Hz采样，随后降采样到采样频率为200Hz，采用ICA方法去除眼电伪迹，并剔除脑电信号中由无效电极引起或局部损坏的部分，数字滤波器选用0.3-50Hz的带通滤波器；/n步骤3：构建差分熵矩阵：/n将预处理后的数据分割为1s信号片段，再采用256点的快速傅里叶变换对每个片段进行频域变换；频域变换后的片段包含脑电信号携带的频域信息；快速傅里叶变换的具体公式如下：/n

【技术特征摘要】
1.一种深度卷积神经网络的脑电信号情感识别方法，其特征在于：其步骤是：
步骤1：采集脑电信号；
步骤2：数据预处理：
首先对数据进行1000Hz采样，随后降采样到采样频率为200Hz，采用ICA方法去除眼电伪迹，并剔除脑电信号中由无效电极引起或局部损坏的部分，数字滤波器选用0.3-50Hz的带通滤波器；
步骤3：构建差分熵矩阵：
将预处理后的数据分割为1s信号片段，再采用256点的快速傅里叶变换对每个片段进行频域变换；频域变换后的片段包含脑电信号携带的频域信息；快速傅里叶变换的具体公式如下：



其中，n表示脑电信号的时域离散点，k表示频域变换后的频率点，x(n)表示输入的脑电信号序列；
差分熵特征从频域中提出，包含情感在频域上的分布信息，相比原始脑电信号，差分熵矩阵更能表征情感信息，采用以下公式计算差分熵：



其中，π与e均为常数，σ2为脑电信号的方差；
步骤4：训练深度卷积神经网络模型：
深层卷积神经网络模型由输入层L0、第一层卷积池化模块L1、第二层卷积池化模块L2、第三层卷积池化模块L3、全连接层L4和最终输出层共六层模块构成；
L0：该层为输入层，L0层的输入为步骤3中构建的差分熵矩阵训练集，输入矩阵用Pm，n表示，其中m表示导联数，1≤m≤Nelec，其中n表示频率点数，1≤n≤Nf，输入矩阵的大小为62*200；用Xl，t，(m，n)表示第l层中第t个图的(m，n)位置的神经元的输出值，用σl，t，(m，n)表示第l层中第t个图的(m，n)位置的神经元的输入值，有
Xl，t，(m，n)＝f(σl，t，(m，n))(3)
其中，f为激活函数，模型的激活函数选用PReLU函数：



其中，kji是服从均匀分布的随机值，在激活函数作用的同时还对数据进行了批归一化处理；









其中，Pm，n为L1层输入矩阵，即构建的差分熵矩阵，K1为卷积核的大小(K1＝3)，ω1，t，r代表第t个卷...

【专利技术属性】
技术研发人员：陈万忠，龚琳琳，
申请(专利权)人：吉林大学，
类型：发明
国别省市：吉林;22