一种基于时空融合特征网络的多通道脑电信号情绪识别方法技术

本发明专利技术公开了一种基于时空融合特征网络的多通道脑电信号情绪识别方法。属于脑电信号处理和情感计算领域，具体操作步骤如下：情绪刺激实验范式设计和脑电信号采集；对采集到的脑电信号进行预处理；预处理后的信号进行数据转换，得到包含时空信息的样本数据；将处理后的脑电样本输入至时空融合特征网络中，利用时空融合相关性信息，得到情绪分类结果。本发明专利技术所提出的基于时空融合特征网络的脑电信号情绪识别框架，既利用了脑电信号在情绪识别中的客观性，又通过时空融合特征网络充分挖掘了脑电信号时间依赖性和空间相关性信息，并且不需要专家先验知识和人工特征提取，可以高效、准确、客观地得到情绪识别结果。客观地得到情绪识别结果。客观地得到情绪识别结果。

【技术实现步骤摘要】
一种基于时空融合特征网络的多通道脑电信号情绪识别方法


[0001]本专利技术属于脑电信号处理、情感计算领域，涉及一种基于时空融合特征网络的多通道脑电信号情绪识别方法。

技术介绍

[0002]情绪是认知和意识过程中对心理和生理状态的测量，对人类的行为、心理健康以及日常体验的质量有着非常重要的影响。了解人类的情感状态是缩短人机距离、建立友好人机交互环境的关键一环。医学领域中，情绪识别技术可以帮助医生诊疗精神疾病、帮助患者表达情感，同时有助于医生追踪患者病情。为了让机器理解情绪，心理学家通常使用两种模型来表示情绪，即离散模型和维度模型。离散模型将情绪划分为基本状态，包括六种基本情绪(快乐、悲伤、恐惧、厌恶、愤怒、惊讶)。维度模型使用连续的坐标系来描述情绪空间。通常，维度模型包含效价和唤醒两个维度。唤醒维度用于表示情绪的兴奋程度，效价维度用于表示情绪的积极程度。
[0003]脑电信号(EEG)直接从大脑皮层采集，是情绪刺激的实时反映。同时，与识别面部表情等非生理信号相比，生理信号无法伪装的特性使得使用生理信号识别情绪更加准确。因此，基于多通道脑电信号的情绪识别受到了越来越多的关注，也逐渐成为情绪障碍诊断的重要计算机辅助方法。随着深度学习在其他模式识别任务中的表现越来越突出，许多研究应用深度学习方法替代传统的机器学习，以自动学习与情绪有关的深度特征表示。现有的大多数方法基于人工选择特征，然而，人工设计和提取特征需要基于领域知识，对于非领域专家来说可能是一种障碍。同时，人工特征冗余度高，而且难以表达脑电信号的高层语义信息。因此，如何更好地利用脑电信号的时空维度相关性信息建立更高效的模型，以在无需领域知识的情况下，实现更加快速、准确、客观的情绪识别仍然是一个尚待解决的问题。

技术实现思路

[0004]专利技术目的：本专利技术的目的是提供了一种基于时空融合特征网络的多通道脑电信号情绪识别方法；目前存在的大多数基于脑电的情绪识别框架通常需要人工特征提取和选择，而有些方法即使使用深度学习，也仍然需要手动提取特征，然后将选择出有利于情绪识别的有用特征输入网络。然而人工提取和选择特征通常是比较困难的，同时可能会造成所设计方法向专业领域外推广应用的阻碍，因此开发原始信号端到端自动学习的情绪识别模型是必要的。在深度网络提取特征方面，由于脑电信号序列在时间和空间维度上包含丰富的有用信息，目前的方法通常仅考虑时间或空间单一维度，或设置两个独立模块，分开提取时空信息再将特征合并。这些方法虽然考虑了时空维度的信息，但可能不利于网络内两个维度之间的信息流动。对此，我们提出的方法基于原始脑电信号端到端学习，在模型中同步提取时空特征，同时加入时空注意力模块加强有意义信息，在公开数据集上测试，实现了精确、客观的识别结果。
[0005]技术方案：本专利技术所述的一种基于时空融合特征网络的多通道脑电信号情绪识别
方法，其具体操作步骤如下：
[0006](1)、情绪刺激实验范式设计和脑电信号数据采集；
[0007](2)、对采集到的脑电信号进行基本预处理，从而得到情绪脑电信号数据；
[0008](3)、对经过预处理后的情绪脑电信号进行数据转换，使样本包含时空信息；
[0009](4)、将处理后的脑电样本输入至时空融合特征网络中，并充分利用时空融合相关性信息，最终得到情绪分类结果。
[0010]进一步的，在步骤(1)中，所述设计情绪刺激实验范式的具体过程是：
[0011]首先，从情绪素材库中挑选能够诱发不同情绪的情绪刺激素材；
[0012]然后，设定实验范式中情绪刺激素材的展示顺序、展示间隔和展示时间；将每种情绪刺激实验重复若干次，直到将所有情绪刺激素材都展示过一次；
[0013]最后，形成完整的情绪刺激实验范式。
[0014]进一步的，在步骤(1)中，所述脑电信号数据采集的具体过程是：
[0015]首先，参与者佩戴多通道脑电设备；
[0016]然后，脑电设备记录参与者在整个实验流程下的脑电信号；其中，所述脑电信号包括基线信号和试验信号；
[0017]最后，将收集到的脑电数据保存在可存储介质中。
[0018]进一步的，在步骤(2)中，所述对采集到的脑电信号进行的基本预处理操作步骤是：
[0019](2.1)、通道定位与无关通道剔除：将EEG设备的记录通道与头皮位置相对应，并移除不相关的通道；
[0020](2.2)、带通滤波：对EEG信号进行滤波，保留所需要的频率范围，过滤噪声和干扰；
[0021](2.3)、重参考与降采样：根据参考点对其他电极数据进行重参考，计算各电极和参考电极之间的电位差；降采样减少数据量，提高计算速度；
[0022](2.4)、伪迹去除：
[0023]首先，对数据记录不良的电极进行插值操作；
[0024]然后，使用独立主成分分析去除眼动和肌动伪迹；
[0025]最后，通过目视检查手动删除污染严重的数据；
[0026](2.5)、分段和基线校正：
[0027]首先，使用一秒长度的滑动时间窗口从连续的试验信号中不重叠地提取样本，增加样本数量；其中，每个样本包含一秒时间内所有采样点全部通道的信号幅值，构成二维矩阵；对基线信号以相同时间窗进行划分处理，将分割后的T1秒基线信号和T2秒试验信号分别记为
[0028]然后，计算T1秒基线样本的平均值作为平均基线，对试验信号进行基线去除操作，以去除数漂移的影响，其形式化如下式所示：
[0029][0030]其中，分别表示第t秒的基线信号和试验信号；M表示采样率， C表示记录的电极数目，表示去除基线后的单个样本。
[0031]进一步的，在步骤(3)中，所述对经过预处理后的情绪脑电信号进行数据转换的具体步骤是：
[0032](3.1)、将每个采样点处的一维向量根据脑电电极分布图转换为二维方阵，未记录的电极处添0，使样本包含电极之间的相关性；
[0033](3.2)、将每个采样点处转换得到的二维方阵按照采样顺序排列成三维阵列，使样本同时包含时间和空间维度信息，其形式化如下式所示：
[0034]X
′
t
＝DataConverting(X
t
)
[0035]其中，表示经过数据转换步骤得到的样本，包含时空信息，作为分类网络的输入；l表示转换为的二维方阵的边长。
[0036]进一步的，在步骤(4)中，提出时空融合特征网络STFF
‑
Net(Spatial
‑
TemporalFusionFeatureNetwork)挖掘脑电信号的时间依赖性和空间相关性，融合两种维度上的信息来提高情绪识别的性能；其具体过程如下：
[0037](4.1)、时空注意力模块STAM：
[0038]包括时间和空间两个注意力子模块，分别学习两个维度上的关注点，减少冗余信息；使用注意力机制强调时间和空间的有意义特征同时抑制无关特征本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于时空融合特征网络的多通道脑电信号情绪识别方法，其特征在于，其具体操作步骤如下：(1)、情绪刺激实验范式设计和脑电信号数据采集；(2)、对采集到的脑电信号进行基本预处理，从而得到情绪脑电信号数据；(3)、对经过预处理后的情绪脑电信号进行数据转换，使样本包含时空信息；(4)、将处理后的脑电样本输入至时空融合特征网络中，并充分利用时空融合相关性信息，最终得到情绪分类结果。2.根据权利要求1所述的一种基于时空融合特征网络的多通道脑电信号情绪识别方法，其特征在于，在步骤(1)中，所述设计情绪刺激实验范式的具体过程是：首先，从情绪素材库中挑选能够诱发不同情绪的情绪刺激素材；然后，设定实验范式中情绪刺激素材的展示顺序、展示间隔和展示时间；将每种情绪刺激实验重复若干次，直到将所有情绪刺激素材都展示过一次；最后，形成完整的情绪刺激实验范式。3.根据权利要求1所述的一种基于时空融合特征网络的多通道脑电信号情绪识别方法，其特征在于，在步骤(1)中，所述脑电信号数据采集的具体过程是：首先，参与者佩戴多通道脑电设备；然后，脑电设备记录参与者在整个实验流程下的脑电信号；其中，所述脑电信号包括基线信号和试验信号；最后，将收集到的脑电数据保存在可存储介质中。4.根据权利要求1所述的一种基于时空融合特征网络的多通道脑电信号情绪识别方法，其特征在于，在步骤(2)中，所述对采集到的脑电信号进行的基本预处理操作步骤是：(2.1)、通道定位与无关通道剔除：将EEG设备的记录通道与头皮位置相对应，并移除不相关的通道；(2.2)、带通滤波：对EEG信号进行滤波，保留所需要的频率范围，过滤噪声和干扰；(2.3)、重参考与降采样：根据参考点对其他电极数据进行重参考，计算各电极和参考电极之间的电位差；降采样减少数据量，提高计算速度；(2.4)、伪迹去除：首先，对数据记录不良的电极进行插值操作；然后，使用独立主成分分析去除眼动和肌动伪迹；最后，通过目视检查手动删除污染严重的数据；(2.5)、分段和基线校正：首先，使用一秒长度的滑动时间窗口从连续的试验信号中不重叠地提取样本，增加样本数量；其中，每个样本包含一秒时间内所有采样点全部通道的信号幅值，构成二维矩阵；对基线信号以相同时间窗进行划分处理，将分割后的T1秒基线信号和T2秒试验信号分别记为
然后，计算T1秒基线样本的平均值作为平均基线，对试验信号进行基线去除操作，以去除数漂移的影响，其形式化如下式所示：其中，分别表示第t秒的基线信号和试验信号；M表示采样率，C表示记录的电极数目，表示去除基线后的单个样本。5.根据权利要求1所述的一种基于时空融合特征网络的多通道脑电信号情绪识别方法，其特征在于，在步骤(3)中，所述对经过预处理后的情绪脑电信号进行数据转换的具体步骤是：(3.1)、将每个采样点处的一维向量根据脑电电极分布图转换为二维方阵，未记录的电极处添0，使样本包含电极之间的相关性；(3.2)、将每个采样点处转换得到的二维方阵按照采样顺序排列成三维阵列，使样本同时包含时间和空间维度信息，其形式化如下式所示：X
′
t
＝DataConverting(X
t
)其中，表示经过数据转换步骤得到的样本，包含时空信息，作为分类网络的输入；l表示转换为的二维方阵的边长。6.根据权利要求1所述的一种基于时空融合特征网络的多通道脑电信号情绪识别方法，其特征在于，在步骤(4)中，所述的时空融合特征网络用于挖掘脑电信号的时间依赖性和空间相关性，融合两种维度上的信息来提高情绪识别的性能；其具体过程如下：(4.1)、时空注意力模块：包括时间和空间两个注意力子模块，分别学习两个维度上的关注点，减少冗余信息；具体的：输入的一秒长样本首先进入空间注意力模块，对每个采样点处二维矩阵中的每个元素，即电极位置，计算所有采样点在该电极处信息的最小值、最大值和平均值；空间方向全局平均池化可形式化为：S
avg
＝AveragePool(X
′
t
)其中，X
′
t
表示单个输入样本，表示单个输入样本，表示坐标(u,v)电极处的平均值；U,V分别为二维矩阵的行、列数，即电极分布图横向与纵向的最大长度；X
′
t
(m,u,v)是矩阵X
′
t
在(m,u,...

【专利技术属性】
技术研发人员：张道强，刘艳玲，许子明，
申请(专利权)人：南京航空航天大学，
类型：发明
国别省市：