一种脑电情绪识别方法及系统技术方案

本发明专利技术提供一种脑电情绪识别方法及系统，包括：确定待识别脑电情绪实体的M个通道的脑电信号；每个通道对应一个脑电信号测量位置；将所述M个通道的脑电信号输入到预先训练好的脑电情绪识别网络模型，以识别出对应的脑电情绪；四阶巴特沃斯带通滤波器将M个通道的脑电信号过滤成五个子频带，并选择出与脑电情绪相关度高的C个通道的脑电信号；多通道并行卷积神经网络提取预处理后脑电信号在不同频带下的通道特征和时间特征对应的组合序列特征；注意力网络将不同频带的组合序列特征进行融合，得到融合后的特征；特征提取网络提取融合后特征的深度特征；分类网络对深度特征进行分类，以识别对应的脑电情绪。本发明专利技术对脑电情绪的识别准确率高。别准确率高。别准确率高。

【技术实现步骤摘要】
一种脑电情绪识别方法及系统


[0001]本专利技术属于脑电情绪识别领域，更具体地，涉及一种脑电情绪识别方法及系统。

技术介绍

[0002]情绪可以反映出人对事物的真实心理反应，因此在医疗、教育等相关领域都有着广阔应用。目前，情绪识别相关研究大体分为两大类型：一种是基于外在行为的多种表现(语音、文本、图像等)，通过非接触方式获取被试者的情绪状态。另一种是基于神经生理状态，即多种生理信号(心电图(ECG)、脑电图(EEG)、心率(PPG))采集等的研究。而外在行为研究情绪存在局限性，关注神经生理状态表征情绪的方式更加客观，因此本专利技术使用EEG生理信号进一步研究情绪识别。
[0003]目前已有不少研究者自建EEG信号数据集研究人类六种基本情绪，如SEED数据集、DEAP数据集，但少有研究者自建EEG信号关注学习过程中情绪。近年来有关学习情绪研究普遍基于外在行为的多种表现，SharmaP等人结合在线学习场景下学生眼睛、头部和面部肌肉运动，研究学生投入状态。但在真实学习场景下学生常态情绪居多，面部肌肉幅度小、持续时间短，导致表情特征不易捕获，同时面部表情存在可伪装等缺陷，通过表情研究难以真实反映学生情绪。
[0004]综上，虽然现有的EEG信号情绪分类技术取得了较好的识别结果，但仍存在下列问题：(1)分频带探讨多种通道组合识别未能很好结合五个子频带特征；(2)探索频带关联性综合全通道研究是重要的研究趋势，然而EEG信号的所有大脑区域并不是都包含有效情感信息，该方式未能集中精力捕捉重要情绪通道。
专利
技术实现思路

[0005]针对现有技术的缺陷，本专利技术的目的在于提供一种脑电情绪识别方法及系统，旨在解决现有脑电情绪识别方法未能集中精力捕捉重要情绪通道，以及不能结合不同子频带特征，从而导致脑电情绪识别精度低的问题。
[0006]为实现上述目的，第一方面，本专利技术提供了一种脑电情绪识别方法，包括如下步骤：
[0007]确定待识别脑电情绪实体的M个通道的脑电信号；每个通道对应一个脑电信号测量位置；
[0008]将所述M个通道的脑电信号输入到预先训练好的脑电情绪识别网络模型，以识别出对应的脑电情绪；所述脑电情绪识别网络模型包括：四阶巴特沃斯带通滤波器过滤、多通道并行卷积神经网络、注意力网络、特征提取网络以及分类网络；所述四阶巴特沃斯带通滤波器用于将所述M个通道的脑电信号过滤成五个子频带，并在所述M个通道的脑电信号中选择出与脑电情绪相关度高的C个通道的脑电信号，将所述C个通道脑电信号对应的五个子频带作为预处理后的脑电信号；所述多通道并行卷积神经网络用于提取预处理后脑电信号在不同频带下的通道特征和时间特征对应的组合序列特征；所述注意力网络用于将不同频带
的组合序列特征进行融合，得到融合后的特征；所述特征提取网络用于提取所述融合后特征的深度特征；所述分类网络用于对所述深度特征进行分类，以识别对应的脑电情绪；所述五个子频带分别对应δ波、θ波、α波、β波以及γ波；所述M和C均为正整数，C小于等于M。
[0009]在一个可选的示例中，所述C个通道位于测量者的颞叶。
[0010]在一个可选的示例中，所述多通道并行卷积神经网络用于提取预处理后脑电信号在不同频带下的组合序列特征，具体为：
[0011]将脑电图序列X
fC
输入多通道并行卷积神经网络，以提取不同频段的包含通道特征和时间特征的组合序列特征，得到特征
[0012][0013][0014]其中，为C个通道组合下多通道并行卷积神经网络在f频段输出的组合序列特征；F
C
表示C个通道组合下多通道并行卷积神经网络提取的5个子频段特征集合；ReLU表示非线性激励函数，增加网络层之间非线性关系；h*g表示对输入的脑电图序列X
fC
进行卷积；表示C个通道组合下f频率的脑电信号。
[0015]在一个可选的示例中，所述注意力网络用于将不同频带的组合序列特征进行融合，得到融合后的特征，具体为：
[0016]从F
c
中选取n个频带的特征放注意力网络，以对选取的n个频段的组合序列特征进行融合，输出融合通道、时间序列和频带后的特征F
’
：
[0017]Weight
k
＝Sigmoid(q
T
Mult(Select(F
C
)
×
n
))
[0018]F
’
＝Mult(Select(F
C
)
×
n
)*Weight
k
[0019]其中，Select表示从F
C
中选取n个频带组合；Mult为频带组合相乘；Sigmoid为激活函数，将输出映射到0，1之间，用做输出权重的阈值数；q
T
为相似度计算；Weight
k
为选取的n个频段的自注意力权值；F
’
为注意力网络输出的融合后的特征；n小于等于5，且为正整数。
[0020]在一个可选的示例中，该方法还包括如下步骤：
[0021]预先确定包含三种触发不同学习情绪的视频材料库；三种学习情绪分别为：投入学习情绪、中性学习情绪或者无聊学习情绪；
[0022]确定所述视频材料库对应的待训练脑电信号集；所述待训练脑电信号集包括：投入学习情绪对应的脑电信号、中性学习情绪对应的脑电信号以及无聊学习情绪对应的脑电信号；所述投入学习情绪脑电信号通过学习者观看触发投入学习情绪的视频材料获取，所述中性学习情绪通过学习者观看触发中性学习情绪的视频材料获取，所述无聊学习情绪通过学习者观看触发无聊学习情绪的视频材料获取；
[0023]采用所述待训练脑电信号集对脑电情绪识别网络模型进行训练，得到训练好的脑电情绪识别网络模型。
[0024]第二方面，本专利技术提供了一种脑电情绪识别系统，包括：
[0025]脑电信号确定单元，用于确定待识别脑电情绪实体的M个通道的脑电信号；每个通道对应一个脑电信号测量位置；
[0026]脑电情绪识别单元，用于将所述M个通道的脑电信号输入到预先训练好的脑电情绪识别网络模型，以识别出对应的脑电情绪；所述脑电情绪识别网络模型包括：四阶巴特沃斯带通滤波器过滤、多通道并行卷积神经网络、注意力网络、特征提取网络以及分类网络；所述四阶巴特沃斯带通滤波器用于将所述M个通道的脑电信号过滤成五个子频带，并在所述M个通道的脑电信号中选择出与脑电情绪相关度高的C个通道的脑电信号，将所述C个通道脑电信号对应的五个子频带作为预处理后的脑电信号；所述多通道并行卷积神经网络用于提取预处理后脑电信号在不同频带下的通道特征和时间特征对应的组合序列特征；所述注意力网络用于将不同频带的组合序列特征进行融合，得到融合后的特征；所述特征提取网络用于提取所述融合后特征的深度特征；所述分类网络用于对所述深度特征进行分类，以识别对应的脑电情绪；所述五个子频带分别对应δ波、θ波、α波、β本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种脑电情绪识别方法，其特征在于，包括如下步骤：确定待识别脑电情绪实体的M个通道的脑电信号；每个通道对应一个脑电信号测量位置；将所述M个通道的脑电信号输入到预先训练好的脑电情绪识别网络模型，以识别出对应的脑电情绪；所述脑电情绪识别网络模型包括：四阶巴特沃斯带通滤波器过滤、多通道并行卷积神经网络、注意力网络、特征提取网络以及分类网络；所述四阶巴特沃斯带通滤波器用于将所述M个通道的脑电信号过滤成五个子频带，并在所述M个通道的脑电信号中选择出与脑电情绪相关度高的C个通道的脑电信号，将所述C个通道脑电信号对应的五个子频带作为预处理后的脑电信号；所述多通道并行卷积神经网络用于提取预处理后脑电信号在不同频带下的通道特征和时间特征对应的组合序列特征；所述注意力网络用于将不同频带的组合序列特征进行融合，得到融合后的特征；所述特征提取网络用于提取所述融合后特征的深度特征；所述分类网络用于对所述深度特征进行分类，以识别对应的脑电情绪；所述五个子频带分别对应δ波、θ波、α波、β波以及γ波；所述M和C均为正整数，C小于等于M。2.根据权利要求1所述的脑电情绪识别方法，其特征在于，所述C个通道位于测量者的颞叶。3.根据权利要求1所述的脑电情绪识别方法，其特征在于，所述多通道并行卷积神经网络用于提取预处理后脑电信号在不同频带下的组合序列特征，具体为：将脑电图序列X
fC
输入多通道并行卷积神经网络，以提取不同频段的包含通道特征和时间特征的组合序列特征，得到特征间特征的组合序列特征，得到特征间特征的组合序列特征，得到特征其中，为C个通道组合下多通道并行卷积神经网络在f频段输出的组合序列特征；F
C
表示C个通道组合下多通道并行卷积神经网络提取的5个子频段特征集合；ReLU表示非线性激励函数，增加网络层之间非线性关系；h*g表示对输入的脑电图序列X
fC
进行卷积；表示C个通道组合下f频率的脑电信号。4.根据权利要求3所述的脑电情绪识别方法，其特征在于，所述注意力网络用于将不同频带的组合序列特征进行融合，得到融合后的特征，具体为：从F
C
中选取n个频带的特征放注意力网络，以对选取的n个频段的组合序列特征进行融合，输出融合通道、时间序列和频带后的特征F
’
：Weight
k
＝Sigmoid(q
T
Mult(Select(F
C
)
×
n
))F
’
＝Mult(Select(F
C
)
×
n
)*Weight
k
其中，Select表示从F
C
中选取n个频带组合；Mult为频带组合相乘；Sigmoid为激活函数，将输出映射到0，1之间，用做输出权重的阈值数；q
T
为相似度计算；Weight
k
为选取的n个频段的自注意力权值；F
’
为注意力网络输出的融合后的特征；n小于等于5，且为正整数。5.根据权利要求1至4任一项所述的脑电情绪识别方法，其特征在于，还包括如下步骤：
预先确定包含三种触发不同学习情绪的视频材料库；三种学习情绪分别为：投入学习情绪、中性学习情绪或者无聊学习情绪；确定所述视频材料库对应的待训练脑电信号集；所述待训练脑电信号集包括：投入学习情绪对应的脑电信号、中性学习情绪对应的脑电信号以及无聊学习情绪对应的脑电信号；所述投入学习情绪脑电信号通过学习者观看触发投入学习情绪的视频材料获取，所述中性学习情绪通过学习者观看触发中性学习情绪的视频材料获取，所述无聊学习情绪通过学习者观看触发无聊学习情绪的视频材料获取；采用所述待训练脑电信号集对脑电情绪识别网络模型进行训练，得到训练好的脑电情绪识别网络模型。6.一种脑电情绪识别系统，其特征...

【专利技术属性】
技术研发人员：刘三女牙，杨宗凯，朱晓亮，荣文婷，戴志诚，赵亮，何自力，杨巧来，孙君懿，刘艮东，
申请(专利权)人：华中师范大学，
类型：发明
国别省市：