一种基于多特征融合和CLSTN的脑电情绪识别方法和系统技术方案

一种基于多特征融合和CLSTN的脑电情绪识别方法，包括：(1)采集情绪脑电数据；(2)预处理数据；(3)多特征融合；(4)CLSTN模型搭建与训练。本发明专利技术还提供了一种基于多特征融合和CLSTN的脑电情绪识别，依次包括以下模块：(1)情绪脑电数据采集模块；(2)数据预处理模块；(3)多特征融合模块；(4)CLSTN模型搭建与训练模块；(5)情绪识别模块。本发明专利技术有效地提高了脑电情绪识别的分类准确率，能更好地对情绪进行识别。识别。识别。

【技术实现步骤摘要】
一种基于多特征融合和CLSTN的脑电情绪识别方法和系统


[0001]本专利技术涉及脑机交互、情绪识别等领域，具体涉及一种基于多特征融合和CLSTN的脑电情绪识别方法和系统。

技术介绍

[0002]情绪是一种复杂的精神状态，它与人类的日常生活息息相关。正确的识别情绪在各个领域都有关键的作用，包括心理学、医学和教育等。在以往的情绪识别研究通常是通过面部表情、声调、肢体语言或一些简单生理信号来进行识别，而如今大量的研究人员通过脑机接口技术提高情绪识别的表现，这是由于脑电信号难以伪造以及可以对神经元活动进行直接测量的特点，使得数据更加真实可靠，同时可以对人真实的情绪进行更好的识别。
[0003]在脑电情绪识别中，需要手工进行特征提取，通过机器学习或深度学习的方法来进行分类识别。以往的研究通常只考虑单一的特征与简单的模型，而这导致其他方面的信息丢失，以致于没有一个好的识别准确率。基于多特征融合与CLSTN的脑电情绪识别方法，可以将多个特征与二维矩阵融合，同时通过卷积模块与时间序列模块，从多个方面来提取有用信息，从而显著提升情绪识别的准确率。

技术实现思路

[0004]本专利技术要克服现有技术的上述缺点，提供一种基于多特征融合和CLSTN的脑电情绪识别方法和系统。
[0005]通过采集诱发情绪后用户的情绪脑电信号，对采集的信号进行工频滤波、带通滤波、降采样、重参考以及独立成分分析的预处理操作，从预处理后的数据中提取功率谱密度、微分熵以及小波包分解三个特征，将特征与映射大脑电极位置的二维矩阵融合，得到最终特征，通过结合卷积与长短期时间序列模块，并加入注意力机制进行参数的调整，对特征进行识别得到情绪分类。
[0006]本专利技术提供了一种基于多特征融合和CLSTN的脑电情绪识别方法，主要包括如下步骤：
[0007](1)采集情绪脑电数据；用户观看带有情绪的视频剪辑片段，根据三种不同的情绪状态记录对应的标签，根据国际标准10
‑
20系统电极位置，采集其情绪相关通道的脑电数据；
[0008](2)预处理数据；对记录的脑电信号进行预处理，通过陷波滤波器去除工频干扰，通过0.5
‑
45Hz的带通滤波去除噪声，通过降采样减少数据量与计算量，通过重参考平均电极电位，通过独立成分分析去除眼电、肌电噪声；
[0009](3)多特征融合；对预处理后的脑电信号进行功率谱密度、微分熵和小波包分解三种特征的提取与融合，得到最终特征，输入至CLSTN模型；
[0010](4)CLSTN模型搭建与训练；通过组合卷积与长短期时间序列模块对提取的特征进行学习，通过注意力机制调整参数，通过SOFTMAX函数进行分类，通过Adam算法进行优化，搭
建与训练脑电情绪识别的CLSTN模型。
[0011]本专利技术还提供了一种基于多特征融合和CLSTN的脑电情绪识别的系统，依次包括以下模块：
[0012](1)情绪脑电数据采集模块，用于获取和保存情绪脑电数据；
[0013](2)数据预处理模块，对采集的数据进行预处理，用于后续特征提取与融合；
[0014](3)多特征融合模块，对预处理后的数据进行特征提取，用于后续模型输入；
[0015](4)CLSTN模型搭建与训练模块，通过卷积模块与长短期时间序列模块搭建模型，使用提取的特征训练和保存模型，用于后续情绪识别；
[0016](5)情绪识别模块，用于脑电情绪的识别与结果显示。
[0017]本专利技术还提供一种计算机可读存储介质，其上存储有程序，该程序被处理器执行时，实现本专利技术的基于多特征融合和CLSTN的脑电情绪识别方法。
[0018]本专利技术还提供一种计算设备，包括存储器和处理器，其中，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，实现本专利技术的方法。
[0019]本专利技术的优点在于，通过对采集的信号进行预处理，以去除原始信号中的噪声，通过提取多种常用特征并与映射电极位置的二维矩阵融合，获取时域、频域、空间域信息，通过卷积模块进一步捕获频域与空间与的信息，再通过长短期时间序列模块捕获时间变量的关系与时域信息，有效提高了脑电情绪识别的分类准确率，可以更好地对情绪进行识别。
附图说明
[0020]为了更清楚地说明本专利技术实施例，下面将对实施例中所需要使用的附图做简单介绍，显而易见的，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0021]图1是本专利技术方法的流程示意图。
[0022]图2是本专利技术的特征提取与融合的示意图。
[0023]图3是本专利技术的模型框架的示意图。
[0024]图4是本专利技术系统的流程示意图。
具体实施方式
[0025]下面将结合附图与实施例，对本专利技术一种基于多特征融合和CLSTN的脑电情绪识别方法和系统进行详细完整的说明，显然，所描述的实施例仅仅是本专利技术的一部分实施例，而不是全部的实施例，不能理解为对本专利技术的限制。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0026]实施例1
[0027]参阅图1，本专利技术实施例提供的一种基于多特征融合和CLSTN的脑电情绪识别方法流程示意图，对其中的步骤进行具体描述：
[0028](1)采集情绪脑电数据；
[0029]用户通过佩戴脑电采集设备，在显示器前观看带有情绪的视频剪辑片段，根据三种不同的情绪状态记录对应的标签，中性为0，正面情绪为1，负面情绪为2，根据国际标准
10
‑
20系统电极位置，采集其Fp1、Fpz、Fp2、F7、F3、Fz、F4、F8、T7、C3、Cz、C4、T8、P7、P3、Pz、P4、P8一共18个通道的脑电数据。
[0030](2)预处理数据；
[0031]对采集的脑电信号进行预处理操作，通过陷波滤波器去除工频干扰，通过0.5
‑
45Hz的带通滤波去除噪声，通过降采样减少数据量与计算量，通过重参考平均电极电位，通过独立成分分析去除眼电、肌电噪声。
[0032](3)多特征融合；
[0033]对预处理后的信号进行特征的提取与融合。如图2所示，通过对信号以0.5秒的时间窗口划分为相等不重叠的信号片段，增加数据量以及划分时域信息。通过对信号按0.5～4.5Hz、4～8Hz、8～13Hz、13～30Hz、30～42Hz滤波获取delta、theta、alpha、beta和gamma一共5个频段。通过使用离散傅里叶的方法来计算功率谱密度，其计算公式为：
[0034]PSD＝{∑[abs(DFT
i
)]2}/(EndPos
‑
StartPos)
ꢀꢀ
(1)
[0035]其中DFTi表示通过离散傅里叶变换得到的第i个点对应的信号本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多特征融合和CLSTN的脑电情绪识别方法，其特征在于，包括以下步骤:(1)采集情绪脑电数据；用户观看带有情绪的视频剪辑片段，根据三种不同的情绪状态记录对应的标签，根据国际标准10
‑
20系统电极位置，采集其情绪相关通道的脑电数据；(2)预处理数据；对记录的脑电信号进行预处理，通过陷波滤波器去除工频干扰，通过0.5
‑
45Hz的带通滤波去除噪声，通过降采样减少数据量与计算量，通过重参考平均电极电位，通过独立成分分析去除眼电、肌电噪声；(3)多特征融合；对预处理后的脑电信号进行功率谱密度、微分熵和小波包分解三种特征的提取与融合，得到最终特征，输入至CLSTN模型；(4)搭建与训练CLSTN模型；通过组合卷积与长短期时间序列模块对提取的特征进行学习，通过注意力机制调整参数，通过SOFTMAX函数进行分类，通过Adam算法进行优化，搭建与训练脑电情绪识别的CLSTN模型。2.根据权利要求1所述的基于多特征融合和CLSTN的脑电情绪识别方法，其特征在于，通过使用离散傅里叶的方法来计算功率谱密度，其计算公式为：PSD＝{∑[abs(DFT
i
)]2}/(EndPos
‑
StartPos)
ꢀꢀꢀꢀ
(1)其中DFT
i
表示通过离散傅里叶变换得到的第i个点对应的信号数值，EndPos与StartPos分别表示一个频段的结束点位置与开始点位置；对离散傅里叶后得到的信号取其模的平方，获得该频率的功率谱密度，再对整个频段所有点平均，最后得到频段的平均功率谱密度作为特征；通过频段计算微分熵特征，其计算公式为：其中，x表示为连续的信息，p(x)表示概率密度函数，[a，b]表示取值区间；通过频段计算小波包分解特征，其计算公式为：其中C
n,k
表示小波分解级的k
th
近似成分；D
j,k
表示分解级的k
th
细节部分；ψ(t)表示小波函数。3.根据权利要求1所述的基于多特征融合和CLSTN的脑电情绪识别方法，其特征在于，在步骤(3)多特征融合中，所述的多特征提取与融合包括：通过对信号以0.5秒的时间窗口划分为相等不重叠的信号片段，增加数据量以及划分时域信息；通过对信号按0.5～4.5Hz、4～8Hz、8～13Hz、13～30Hz、30～42Hz滤波获取delta、theta、alpha、beta和gamma五个频段。通过使用离散傅里叶的方法来计算功率谱密度，通过频段计算微分熵特征和小波包分解特征，通过将与每个大脑区域相关的电极位置映射到一个二维矩阵中，以获取空间信息；将每个电极所对应的三种特征进行融合放入二维矩阵中，得到最终特征。
4.根据权利要求1所述的基于多特征融合和CLSTN的脑电情绪识别方法，其特征在于，步骤(4)具体包括：通过组合卷积与...

【专利技术属性】
技术研发人员：程时伟，潘澄，
申请(专利权)人：浙江工业大学，
类型：发明
国别省市：