一种融合时空交互神经网络的脑电情绪识别方法及系统技术方案

本发明专利技术涉及情绪识别技术领域，尤其是指一种融合时空交互神经网络的脑电情绪识别方法，包括：将脑电信号数据输入至脑电情绪识别模型，根据脑电采集电极的位置构建脑电信号的2D矩阵表示；通过时间步共享卷积，从低维与高维两个层面捕捉多个连续时间步的共同特征，增强原始输入的信息表达；通过降采样卷积，降低时间维度并提取与情绪类别高度相关的时间

【技术实现步骤摘要】
一种融合时空交互神经网络的脑电情绪识别方法及系统


[0001]本专利技术涉及情绪识别
，尤其是指一种融合时空交互神经网络的脑电情绪识别方法及系统。

技术介绍

[0002]情绪作为人类认知活动中最高级别的一种，直接影响着公众日常生活中的多个方面，包括学习、决策和社交等。生理信号真实客观地反映了人的情绪状态，其中脑电波(Electroencephalogram,EEG)直接记录了大脑皮层与情绪相关的神经活动信号。在情绪识别任务中，脑电信号可以准确地反映人类的情绪状态。随着脑机接口技术的迅速发展，目前脑电信号已经广泛应用于情绪识别。
[0003]脑电信号是多通道、多电极的时间序列，因此脑电信号中同时具有时间、空间和频谱等特征。在现有技术中，深度学习流行的卷积神经网络、递归神经网络以及Transformer架构等方法，已经成功应用于脑电情绪识别。然而，卷积神经网络能够有效捕获局部信息，但忽略了全局信息；递归神经网络与Transformer架构虽然能够对EEG的时间信息进行有效挖掘，但忽略了空间信息。
[0004]由此可见，现有的基本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种融合时空交互神经网络的脑电情绪识别方法，其特征在于，具体步骤包括：S1、将脑电信号数据输入至脑电情绪识别模型，根据脑电采集电极的位置，将每个脑电电极所采集的脑电信号放入h
×
w的2D矩阵中，构建脑电信号的2D矩阵表示；根据时间窗口长度T，将每个通道的脑电信号划分为时间长度为T的样本，得到每个样本的尺寸为T
×
h
×
w，并对每个通道的脑电数据进行0
‑
1归一化；S2、将所述每个样本按照时间维度分为连续的M个时间步，记为P
t
，t∈[1,M]；将P
t
分别依次输入至时间步共享卷积，从低维与高维两个层面捕捉多个连续时间步的共同特征，得到所述样本中连续的M个时间步的共同特征F
t
；按照时间维度拼接所述共同特征F
t
，并将所述样本作为残差，与所述拼接后的特征相加，得到特征MF；S3、构建降采样卷积，将所述特征MF输入至降采样卷积，降低数据的时间维度，并提取与情绪类别高度相关的时间
‑
空间特征，得到时间
‑
空间特征图C∈R
(T/8)
×
h
×
w
；S4、对时间
‑
空间特征图C的空间维度进行操作，将其分成N个p
×
p大小的子区域，表示为其中i＝1,2,...,N，j＝1,2,...,T/8；按照时间
‑
空间特征图C的时间维度，将(T/8)个特征图拼接起来，表示为C
i
∈R1×
[(T/8)
×
p
×
p]
，因此，N个拼接后形成的特征图C
i
最终构成特征图C0∈R
N
×
[T/8)
×
p
×
p]
；将所述特征图C0转置，并对转置后每个子区域进行多层感知机操作，令每个子区域之间的空间信息交互，进一步强化特征的空间表达，得到特征图C1；再次对特征图C1转置，得到特征图C2，将所述特征图C0作为残差与特征图C2相加，并经过层归一化，得到特征图C
A
；S5、根据情绪的效价、唤醒和支配三个维度，构建三个情绪分类任务，每个情绪分类任务包含两个类别；使用全连接层对所述特征图C
A
分别在三个情绪分类任务中进行二分类，得到每个任务中情绪类别的概率，完成情绪识别。2.根据权利要求1所述的一种融合时空交互神经网络的脑电情绪识别方法，其特...

【专利技术属性】
技术研发人员：郭浩，陆轲熠，顾志浩，齐菲，孙承峰，孙立宁，
申请(专利权)人：苏州大学，
类型：发明
国别省市：