一种基于注意力的时空网络的脑电情绪识别方法技术

本发明专利技术提供一种基于注意力的时空网络的脑电情绪识别方法，包括以下步骤：S1、获取受试者观看视频片段的脑电数据和标签数据；S2、数据预处理，包括：降采样、去除基线信号、去除眼电信号和眨眼的生理伪迹、带通通滤波保留4.0～45.0Hz的脑电信号对数据进行划分；S3、构建基于核注意力的时空卷积神经网络模型；S4、训练神经网络模型，进行参数调整，得到脑电情绪识别的分类结果；S5、利用设定的评价指标，以SVM模型作为基线，与多种深度神经网络模型的比较，验证基于核注意力的时空网络模型的有效性。本发明专利技术具有较高的识别准确率，能使机器有效识别和理解人类的情绪，使人机交互更加友好，在人机交互领域具有较强的应用价值。在人机交互领域具有较强的应用价值。在人机交互领域具有较强的应用价值。

【技术实现步骤摘要】
一种基于注意力的时空网络的脑电情绪识别方法


[0001]本专利技术涉及人机交互与情感计算领域，具体涉及一种基于注意力的时空网络的脑电情绪识别方法。

技术介绍

[0002]情绪是人类最基本的经验构成之一。在情绪心理学范畴中，情绪是指以主体为中介的一种心理活动，是个体与各种环境意义事情之间的观照，是多成分组成，多维量结构，多水平整合，并为有机体生存适应和人际交往而同认知交互作用的心理活动过程和心理动机力量。人类致力于让技术的应用更加亲和友好，情感计算科学的出现，是水到渠成的一步，它能让机器识别、理解人类的情绪，拥有表达关爱之情的情感能力。虽然情感计算是人工智能领域相对较新颖的一个分支，但它是机器拥有情感，最终实现真正意义智能的重要技术之一。
[0003]此外，情绪识别可以通过机器学习和深度学习模型分析个体的生物信号，包括面部数据，脑电数据和外周生理数据。虽然面部表情数据获得的成本较低，然而研究发现，一些人可以控制自己的面部表情来隐藏自己的情绪。因此，许多研究都是关于使用生理信号数据进行的分析。脑电数据作为一种典型的生理信号，近年来得到了广泛的应用。
[0004]在处理基于脑电数据的情绪识别问题时，常常遇到的问题是如何从脑电信号中提取有区别的情绪特征。传统的特征提取方法是从时域、频域和时频域中提取脑电特征，依赖于手工制作。

技术实现思路

[0005]本专利技术要解决的技术问题是提供一种基于注意力的时空网络的脑电情绪识别方法，提高受试者脑电情绪识别的准确性，从而使机器获得识别、理解人类情绪的能力，使机器拥有关爱之情，促进人机友好交流。
[0006]为解决上述技术问题，本专利技术的实施例提供一种基于注意力的时空网络的脑电情绪识别方法，包括以下步骤：
[0007]S1、获取受试者观看视频片段的脑电数据和标签数据；
[0008]S2、数据预处理，包括：降采样、去除基线信号、去除眼电信号和眨眼的生理伪迹、带通通滤波保留4.0～45.0Hz的脑电信号对数据进行划分；
[0009]S3、构建基于核注意力的时空卷积神经网络模型；
[0010]S4、训练步骤S3的神经网络模型，进行参数调整，得到脑电情绪识别的分类结果；
[0011]S5、利用设定的评价指标，以SVM模型作为基线，与多种深度神经网络模型的比较，验证基于核注意力的时空网络模型的有效性。
[0012]其中，步骤S1中，每个受试者观看一端视频的脑电数据包括3s的基线信号和60s的情绪刺激信号，采用32通道Biosemi ActiveTwo系统，采样频率为512Hz，国际标准10/20系统获取用户的脑电数据，并对用户在不同情绪状态下的脑电数据赋予不同的情绪标签；所
述标签数据包括唤醒度和效价度，采用9点量表对标签数据的各维度水平进行测量，数值越大，表示情绪激活程度越高。
[0013]其中，步骤S2包括以下步骤：
[0014]S2.1、去除脑电数据中3s的基线信号；
[0015]S2.2、将512Hz的采样频率降采样到128Hz；
[0016]S2.3、采用盲源分离法去除脑电数据中的眼电信号和眨眼的生理伪迹；
[0017]S2.4、去除高频噪声的干扰，对脑电数据进行4.0～45.0Hz的带通滤波；
[0018]S2.5、对于脑电数据每个维度的类标签，选择5作为阈值，将9个离散的值投影到每个维度的低类和高类中；
[0019]S2.6：数据扩充：将脑电数据中的60s脑电信号数据分成更小的不重叠的4s段，每个脑电数据被分成15段。
[0020]其中，步骤S3中，基于核注意力的时空卷积神经网络模型包括核注意力模块、空间依赖模块和时间依赖模块，包括以下步骤：
[0021]S3.1、使用核注意力模块获取脑电的节点属性，采用级联卷积层获得强特征，将不同核学习到的脑电特征进行融合拼接，作为在脑电图表示中的节点属性；
[0022]S3.2、空间依赖模块提取脑电数据的空间特征信息；
[0023]S3.3、时间依赖模块采用长短时记忆网络模型，提取脑电数据的时间序列数据，并利用历史信息对当前状态产生影响。
[0024]其中，步骤S3.1包括以下步骤：
[0025]S3.1.1、将核的长度按采样率f
s
的不同比例设置，比值系数记为α
k
∈R，其中k为卷积层的层数，k将从1到k，第k层T核的大小用表示，公式如下：
[0026][0027]S3.1.2、经过步骤S2后的脑电信号数据表达公式如下：
[0028]X
i
∈R
c
×
l
,i∈[1,...,n]；
[0029]其中，n表示脑电数据的样本量，c表示脑电信号的通道数量，l表示单个样本的长度；
[0030]S3.1.3、将不同核学习到的脑电特征进行融合拼接，注意力模块的最终特征表示公式如下：
[0031][0032]其中，F
bn
代表批处理归一化函数，F
avgpool
代表平均池化函数，F
cat
代表特征融合函数，F
conv
代表卷积函数。
[0033]其中，步骤S3.2包括以下步骤：
[0034]S3.2.1、空间依赖模块包括重复四次基本的单元，即2D卷积层、Batch normal层，Leaky ReLU层和平均池化层，将步骤S3.1中核注意力模块得到的输出特征作为输入特征，空间依赖模块最终特征表示的公式如下：
[0035][0036]其中，F
Leakyrelu
代表激活函数，F
spatial_conv
代表空间卷积函数；
[0037]S3.2.2、卷积神经网络的激活函数采用Leaky ReLU激活函数，相较于传统的ReLU激活函数，它能解决当学习率过大时，避免网络中的神经元梯度永远为0的情况，其公式如下：
[0038]f(x)＝max(0,x)+leak*min(0,x)；
[0039]其中，leaky取值为0.01。
[0040]其中，步骤S3.3中，长短时记忆网络模型通过在每个LSTM单元(cell state)引入门(gate)结构，即由一个sigmoid函数和一个点乘操作组成，且sigmoid函数的输出值在[0,1]区间，控制丢弃或增加信息，以确定遗忘或者记忆，每一所述LSTM单元包括遗忘门(forget gate)、输入门(input gate)和输出门(output gate)，内容如下：
[0041]S3.3.1、遗忘门(forget gate)：通过上一个单元的输出h
t
‑1和本单元的输入为输入的sigmod函数，为C
t
‑1中的每一项产生一个在[0,1]内的值，以控制上一单元状态被遗忘的程度，其公式表达如下：
[0042][0043]其中，σ表示s本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于注意力的时空网络的脑电情绪识别方法，其特征在于，包括以下步骤：S1、获取受试者观看视频片段的脑电数据和标签数据；S2、数据预处理，包括：降采样、去除基线信号、去除眼电信号和眨眼的生理伪迹、带通通滤波保留4.0～45.0Hz的脑电信号对数据进行划分；S3、构建基于核注意力的时空卷积神经网络模型；S4、训练步骤S3的神经网络模型，进行参数调整，得到脑电情绪识别的分类结果；S5、利用设定的评价指标，以SVM模型作为基线，与多种深度神经网络模型的比较，验证基于核注意力的时空网络模型的有效性。2.根据权利要求1所述的基于注意力的时空网络的脑电情绪识别方法，其特征在于，步骤S1中，每个受试者观看一段视频的脑电数据包括3s的基线信号和60s的情绪刺激信号，采用32通道Biosemi ActiveTwo系统，采样频率为512Hz，国际标准10/20系统获取用户的脑电数据，并对用户在不同情绪状态下的脑电数据赋予不同的情绪标签；所述标签数据包括唤醒度和效价度，采用9点量表对标签数据的各个维度水平进行测量，数值越打，表示情绪激活程度越高。3.根据权利要求1所述的基于注意力的时空网络的脑电情绪识别方法，其特征在于，步骤S2包括以下步骤：S2.1、去除脑电数据中3s的基线信号；S2.2、将512Hz的采样频率降采样到128Hz；S2.3、采用盲源分离法去除脑电数据中的眼电信号和眨眼的生理伪迹；S2.4、去除高频噪声的干扰，对脑电数据进行4.0～45.0Hz的带通滤波；S2.5、对于脑电数据每个维度的类标签，选择5作为阈值，将9个离散的值投影到每个维度的低类和高类中；S2.6：数据扩充：将脑电数据中的60s脑电信号数据分成更小的不重叠的4s段，每个脑电数据被分成15段。4.根据权利要求1所述的基于注意力的时空网络的脑电情绪识别方法，其特征在于，步骤S3中，基于核注意力的时空卷积神经网络模型包括核注意力模块、空间依赖模块和时间依赖模块，包括以下步骤：S3.1、使用核注意力模块获取脑电的节点属性；S3.2、空间依赖模块提取脑电数据的空间特征信息；S3.3、时间依赖模块采用长短时记忆网络模型，提取脑电数据的时间序列数据，并利用历史信息对当前状态产生影响。5.根据权利要求4所述的基于注意力的时空网络的脑电情绪识别方法，其特征在于，步骤S3.1包括以下步骤：S3.1.1、将核的长度按采样率f
s
的不同比例设置，比值系数记为α
k
∈R，其中k为卷积层的层数，k将从1到k，第k层T核的大小用表示，公式如下：S3.1.2、经过步骤S2后的脑电信号数据表达公式如下：X
i
∈R
c
×
l
,i∈[1,...,n]；
其中，n表示脑电数据的样本量，c表示脑电信号的通道数量，l表示单个样本的长度；S3.1.3、将不同核学习到的脑电特征进行融合拼接，注意力模块的最终特征表示公式如下：其中，F
bn
代表批处理归一化函数，F
avgpool
代表平均池化函数，F
cat
代表特征融合函数，F
conv
代表卷积函数。6.根据权利要求4所述的基于注意力的时空网络的脑电情绪识别方法，其特征在于，步骤S3.2包括以下步骤：S3.2.1、空间依赖模块包括重复四次基本的单元，即2D卷积层、Batch normal层，Leaky ReLU层和平均池化层，将步骤S3.1中核注意力模块得到的输出作为输入特征，空间依赖模块最终特征表示的公式如下：其中，F
Leakyrelu
代表激活函数，F
spatial_conv...

【专利技术属性】
技术研发人员：高瞻，朱琳，邵叶秦，王杰华，
申请(专利权)人：南通大学，
类型：发明
国别省市：