一种基于脑电波和卷积神经网络的情绪检测及识别方法技术

本发明专利技术提出了一种基于脑电波和卷积神经网络的情绪检测识别方法，所述方法包括：采集受试者的原始脑电信号，去除相关噪声，根据受试者的自我评估对脑电信号的情绪种类进行划分和预处理，获得受试者单次的情绪数据；采集多位受试者的原始脑电信号并获取所有受试者的情绪数据，对情绪数据进行整合，建立数据集；生成特征图，并合并为情绪特征立方体，输入GCN+NGCU神经网络；通过GCN+NGCU神经网络获得与情绪的种类相关的脑电波序列的时间

【技术实现步骤摘要】
一种基于脑电波和卷积神经网络的情绪检测及识别方法


[0001]本专利技术属于脑神经科学、信号处理和人工智能算法领域，尤其涉及一种基于脑电波和卷积神经网络的情绪检测及识别方法。

技术介绍

[0002]情绪是综合了人意识和行为的表现，在很大程度上反映了人对事物的认知和态度。在日常生活中，情绪无处不在，特别是在人际交往中有不可忽视的影响。同样的，在高级人—机交互系统中，基于计算机技术的情绪识别起到了非常关键的作用。情绪识别因其意义重大、应用广泛，已然成为现今神经科学、心理学和计算机科学研究的热门重点，是人工智能的一大突破。比如在残疾人护理方面，对于那些无法通过语言或动作表达感受的人来说，只有用计算机对其情绪进行检测，才能选择最舒适的护理方式；在驾车安全方面，通过情绪识别可以避免司机在开车时过度激动或过于疲劳，从而大大减少车祸的发生等等方面。
[0003]情绪识别的方法主要分为两大类：基于非生理信号的识别和基于生理信号的识别。基于非生理信号的识别主要包括对面部表情和语音语调的识别。但是，面部表情和语音语调都可以刻意隐藏，甚至有人在这些方面会有表达上的障碍，所以这类情绪识别的方法并不可靠，也不够实用。而基于生理信号的识别则指对脑电、肌电、心电、皮肤阻抗、心率和呼吸信号等的监测来获得情绪状况。其中，利用伴随情绪产生的电生理信号来衡量情绪种类是实现情绪客观评估的有效途径。在情绪相关的生理信号中，脑电信号(EEG)是一种较为理想客观的评估情绪的生理指标，它具有毫秒级的高时间分辨率和相对较低的数据采集成本，并且直接反映了神经元电活动，包含了反映人的生理、心理和疾病的大量信息。通过对脑电信号(EEG)进行特征提取、模式识别等，能为大部分情绪分类提供依据。
[0004]目前，将所有电极的光谱测量数据聚合成特征向量是脑电数据分析的标准方法。然而，这种方法显然忽略了数据在空间、频率和时间上的固有结构。

技术实现思路

[0005]本专利技术的目的是提出一种基于脑电波和卷积神经网络的情绪检测及识别方法，实现准确高效地提取和处理人体情绪发生变化时的脑电波变化特征，自动识别、评估并反馈当前的情绪。
[0006]为了达到上述目的，本专利技术提供了一种基于脑电波和卷积神经网络的情绪检测及识别方法，所述方法包括：
[0007]S1、采集受试者的原始脑电波信号，去除相关噪声，根据受试者的自我评估对脑电波信号的情绪种类进行划分，再对脑电波信号预处理，获得受试者单次的情绪数据；
[0008]S2、采集多位受试者的原始脑电波信号并获取所有受试者包含情绪的脑电波数据，对所有受试者包含情绪的脑电波数据进行整合，建立数据集；
[0009]S3、生成特征图，并合并为情绪特征立方体，输入GCN+NGCU神经网络；
[0010]S4、通过GCN+NGCU神经网络获得与情绪的种类相关的脑电波信号序列的时间
‑
空间特征向量；
[0011]S5、构建Softmax情绪分类器模型，将GCN
‑
NGCU神经网络学习到的脑电波情绪特征输入到Softmax情绪分类器模型中，自动匹配及识别受试者的情绪；
[0012]所述预处理具体为：根据受试者观看所有视频后进行的自我评估对所述受试者的脑电波信号数据的情绪种类进行划分，再利用信号时间分割窗口对所记录的脑电波信号数据进行处理。
[0013]进一步地，所述去除相关噪声具体为使用滤波和二阶盲辨识算法滤除EEG噪声；
[0014]其具体包括以下内容：
[0015]采用50Hz陷波器消除工频干扰；
[0016]采用带通滤波器滤除EEG信号高频成分；
[0017]采用二阶盲辨识算法对EEG信号混合在一起的伪迹信号进行盲源分离。
[0018]进一步地，所述采用二阶盲辨识算法对EEG信号混合在一起的伪迹信号进行盲源分离具体包括：
[0019]对观测到的脑电波信号数据X(t)进行白化处理，除去各分量之间的二阶相关性，具体公式如下：
[0020]X(t)＝[x1(t),
…
,x
m
(t)]T
[0021]Y(t)＝WX(t)
[0022]其中，X(t)为观测到的脑电波信号数据，Y(t)为白化后的脑电波信号数据，W为m
×
n维白化矩阵；
[0023]计算固定时延τ下白化数据的采样协方差矩阵R(τ)，并对所有采样协方差矩阵R(τ)采用联合近似对角化算法得出正交矩阵U，计算公式如下：
[0024]R(τ)＝E[Y(t+τ)Y
T
(t)]＝AR
Y
(τ)A
T
[0025]U
T
R(τ
j
)U＝D
j τ∈{τ
j
∣j＝1,2,
…
,k}
[0026]其中，{D
j
}是一组对角矩阵，A表示混合源信号矩阵，τ表示固定时延，R(τ)表示协方差矩阵，E表示数学期望，t表示某个时刻；
[0027]计算混合源信号矩阵A，如下式所示：
[0028]Y(t)＝U
T
WX(t)
[0029]A＝W
+
U
[0030]X
r
(t)＝W
+
Y
r
(t)
[0031]式中X
r
(t)为重构后的观测信号向量；Y
r
(t)为将Y(t)中不需要的源信号成分置零后得到的新的独立源矩阵，W
+
为分离矩阵W的伪逆矩阵。
[0032]进一步地，所述S2的具体步骤为：
[0033]采用Emotiv32通道可穿戴脑电波头盔采集受试者在观看20个1分钟电影片段视频过程的脑电波信号，每位受试者可多次观看视频，记录多位受试者多次实验的原始脑电波信号数据；
[0034]使用滤波器和二阶盲辨识去除脑电信号中的噪声，获得信噪比最高的脑电波信号数据；
[0035]根据每位受试者每次实验时记录的情绪标注，将每次实验所获得的数据划分为不
同类型的情绪；
[0036]将每种情绪的脑电波信号数据分割成一个以上的等长时间窗口，获得每个通道的脑电时间序列，得到预处理后的包含受试者情绪的脑电波数据；
[0037]为每位受试者建立一个分类器，每个分类器通过KFold的交叉验证方法将获取到的包含情绪的脑电波数据集划分为特殊的训练集，所述训练集包括验证集和测试集。
[0038]进一步地，所述S3的具体步骤为：
[0039]选择Delta、Theta、Alpha、Beta和Gamma的脑电波信号频带作为情绪特征提取的主要频带，通过傅里叶变换计算脑电波信号每个电极Delta、Theta、Alpha、Beta和Gamma的脑电信号频带的功率谱密度，具体公式为：
[0040][0041][0042][0043]本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于脑电波和卷积神经网络的情绪检测识别方法，其特征在于，所述方法包括：S1、采集受试者的原始脑电波信号，去除相关噪声，根据受试者的自我评估对脑电波信号的情绪种类进行划分，再对脑电波信号预处理，获得受试者单次的情绪数据；S2、采集多位受试者的原始脑电波信号并获取所有受试者包含情绪的脑电波数据，对所有受试者包含情绪的脑电波数据进行整合，建立数据集；S3、生成特征图，并合并为情绪特征立方体，输入GCN+NGCU神经网络；S4、通过GCN+NGCU神经网络获得与情绪的种类相关的脑电波信号序列的时间
‑
空间特征向量；S5、构建Softmax情绪分类器模型，将GCN
‑
NGCU神经网络学习到的脑电波情绪特征输入到Softmax情绪分类器模型中，自动匹配及识别受试者的情绪；所述预处理具体为：根据受试者观看所有视频后进行的自我评估对所述受试者的脑电波信号数据的情绪种类进行划分，再利用信号时间分割窗口对所记录的脑电波信号数据进行处理。2.根据权利要求1所述的一种基于脑电波和卷积神经网络的情绪检测识别方法，其特征在于，所述去除相关噪声具体为使用滤波和二阶盲辨识算法滤除EEG噪声；其具体包括以下内容：采用50Hz陷波器消除工频干扰；采用带通滤波器滤除EEG信号高频成分；采用二阶盲辨识算法对EEG信号混合在一起的伪迹信号进行盲源分离。3.根据权利要求2所述的一种基于脑电波和卷积神经网络的情绪检测识别方法，其特征在于，所述采用二阶盲辨识算法对EEG信号混合在一起的伪迹信号进行盲源分离具体包括：对观测到的脑电波信号数据X(t)进行白化处理，除去各分量之间的二阶相关性，具体公式如下：X(t)＝[x1(t)，
…
，x
m
(t)]
T
Y(t)＝WX(t)其中，X(t)为观测到的脑电波信号数据，Y(t)为白化后的脑电波信号数据，W为m
×
n维白化矩阵；计算固定时延τ下白化数据的采样协方差矩阵R(τ)，并对所有采样协方差矩阵R(τ)采用联合近似对角化算法得出正交矩阵U，计算公式如下：R(τ)＝E[Y(t+τ)Y
T
(t)]＝AR
Y
(τ)A
T
U
T
R(τ
j
)U＝D
j τ∈{τ
j
|j＝1，2，
…
，k}其中，{D
j
}是一组对角矩阵，A表示混合源信号矩阵，τ表示固定时延，R(τ)表示协方差矩阵，E表示数学期望，t表示某个时刻；计算混合源信号矩阵A，如下式所示：Y(t)＝U
T
WX(t)A＝W
+
UX
r
(t)＝W
+
Y
r
(t)式中X
r
(t)为重构后的观测信号向量；Y
r
(t)为将Y(t)中不需要的源信号成分置零后得
到的新的独立源矩阵，W
+
为分离矩阵W的伪逆矩阵。4.根据权利要求1所述的一种基于脑电波和卷积神经网络的情绪检测识别方法，其特征在于，所述S2的具体步骤为：采用Emotiv32通道可穿戴脑电波头盔采集受试者在观看20个1分钟电影片段视频过程的脑电波信号，每位受试者可多次观看视频，记录多位受试者多次实验的原始脑电波信号数据；使用滤波器和二阶盲辨识去除脑电信号中的噪声，获得信噪比最高的脑电波信号数据；根据每位受试者每次实验时记录的情绪标注，将每次实验所获得的数据划分为不同类型的情绪；将每种情绪的脑电波信号数据分割成一个以上的等长时间窗口，获得每个通道的脑电时间序列，得到预处理后的包含受试者情绪的脑电波数据；为每位受试者建立一个分类器，每个分类器通过KFold的交叉验证方法将获取到的包含情绪的脑电波数据集划分为特殊的训练集，所述训练集包括验证集和测试集。5.根据权利要求3所述的一种基于脑电波和卷积神经网络的情绪检测识别方法，其特征在于，所述S3的具体步骤为：选择Delta、Theta、Alpha、Beta和Gamma的脑电波信号频带作为情绪特征提取的主要频带，通过傅里叶变换计算脑电波信号每个电极Delta、Theta、Alpha、Beta和Gamma的脑电信号频带的功率谱密度...

【专利技术属性】
技术研发人员：伍冯洁，陈晓斌，张倩，黄昱勋，柳佳瑞，何演，刘泽霖，杨籍森，宁毓轩，
申请(专利权)人：广州大学，
类型：发明
国别省市：