基于自注意力机制的脑电情绪识别方法及其应用技术

本申请提出了一种基于自注意力机制的脑电情绪识别方法及其应用，包括以下步骤：S1、获取被试者的原始脑电数据，依据该原始脑电数据得到被试者的不同情绪状态并赋予对应的情绪标签；S2、去除原始脑电数据中的干扰信号并提取原始脑电数据中每一个通道的特征；S3、依据每一个通道的特征，基于注意力机制创建预训练模型；S4、使用不同刺激下的原始脑电数据对该预训练模型进行训练；S5、通过情绪数据集对训练后的预训练模型进行精调并输出检测结果。不仅提高了模型在跨被试实验上的情绪识别精度，而且减少了网络训练时间，同时也适用于小样本数据的下游任务。数据的下游任务。数据的下游任务。

【技术实现步骤摘要】
基于自注意力机制的脑电情绪识别方法及其应用


[0001]本申请涉及脑认知领域的神经电生理信号分析技术，特别是涉及基于自注意力机制的脑电情绪识别方法及其应用。

技术介绍

[0002]情绪是一种复杂的心理和生理状态，源于大脑对这些生理变化的反应，在生活中起着至关重要的作用。近年来，越来越多的研究集中在情感上，不仅是为了创建人机交互(HMI)应用的情感用户界面，而且也是为了评估神经障碍患者的心理疾病，如帕金森病、自闭症谱系障碍、精神分裂症、抑郁症等。因此，情感识别采用了多种方法，主要集中在外部行为表征，如面部/声音检测和内部电生理信号分析。
[0003]虽然外部行为表征有时可以获得更好的情绪分类表现，但它们通常是主观的，通常对自闭症等神经障碍疾病无效。
[0004]由于大脑皮层活动直接、客观地反映了情绪状态的变化，因此对其电生理信号的测量常被用作情绪分类的分析信号源，如脑电、心电图、肌电图等。此外，尽管脑电信号具有较低的信噪比(SNR)，但它具有时间分辨率高、空间分辨率可接受以及便携式脑电信号采集设备采集成本低、方便等特点，因此越来越受到情感识别研究的关注。

技术实现思路

[0005]本申请实施例提供了一种基于自注意力机制的脑电情绪识别方法及其应用，针对目前技术对脑电信号敏感度低和跨被试实验的准确率低的问题。
[0006]本专利技术核心技术主要是先通过预训练生成基于注意力机制构建预训练模型，然后再在该预训练模型的基础上精调。该技术不仅提高了模型在跨被试实验上的情绪识别精度，而且减少了网络训练时间，同时也适用于小样本数据的下游任务。
[0007]第一方面，本申请提供了一种基于自注意力机制的脑电情绪识别方法，所述方法包括以下步骤：S1、获取被试者的原始脑电数据，依据该原始脑电数据得到被试者的不同情绪状态并赋予对应的情绪标签；S2、去除原始脑电数据中的干扰信号并提取原始脑电数据中每一个通道的特征；S3、依据每一个通道的特征，基于注意力机制创建预训练模型；S4、使用不同刺激下的原始脑电数据对该预训练模型进行训练；S5、通过情绪数据集对训练后的预训练模型进行精调并输出检测结果。
[0008]进一步地，步骤S1中，通过情绪认知因素设计一体式E
‑
prime实验范式，采集多位被试的自发和诱发式EEG信号得到被试者的原始脑电数据。由于采集的EEG数据中存在眨眼所导致的眨眼信号，去除眨眼信号可以获得更干净的EEG数据进一步地，步骤S2中，去除原始脑电数据中的眨眼伪迹，再通过带通滤波器滤波并通过功率普密度提取每一个通道的特征。
[0009]进一步地，步骤S2中，采用独立成分分析法去除原始脑电数据中的眨眼伪迹。采集的EEG数据中存在眨眼所导致的眨眼信号，为了去除这种眨眼信号从而得到干净的EEG数据，采用独立成分分析方法可以去除眨眼信号。
[0010]进一步地，步骤S3中，以每一个通道的特征以及开始、切分及结束三个通道作为特征矩阵输入至预训练模型中。
[0011]进一步地，步骤S3中，特征矩阵中每一行代表一个通道的所有特征。
[0012]进一步地，步骤S4中，利用反向传播算法收敛预训练模型，以使得预训练模型的LOSS值变小且稳定。反向传播算法可以纠正模型参数，让模型获得更好的分类参数，从而达到更高的分类效果。
[0013]进一步地，步骤S5中，每次输入多个通道的原始脑电数据，通过训练后的预训练模型对所有通道的数据进行分类。
[0014]第二方面，本申请提供了一种基于自注意力机制的脑电情绪识别装置，包括：数据采集模块，用于获取被试者的原始脑电数据，依据该原始脑电数据得到被试者的不同情绪状态并赋予对应的情绪标签，得到情绪数据集；数据处理模块，用于去除原始脑电数据中的干扰信号并提取原始脑电数据中每一个通道的特征；模型创建训练模块，用于依据每一个通道的特征，基于注意力机制创建预训练模型，使用不同刺激下的原始脑电数据对该预训练模型进行训练；精调模块，用于通过情绪数据集对训练后的预训练模型进行精调；输出模块，用于输出检测结果。
[0015]第三方面，本申请提供了一种电子装置，包括存储器和处理器，存储器中存储有计算机程序，处理器被设置为运行计算机程序以执行上述的基于自注意力机制的脑电情绪识别方法。
[0016]第四方面，本申请提供了一种可读存储介质，可读存储介质中存储有计算机程序，计算机程序包括用于控制过程以执行过程的程序代码，过程包括根据上述的基于自注意力机制的脑电情绪识别方法。
[0017]本专利技术的主要贡献和创新点如下：1、与现有技术相比，本申请先通过预训练生成基于注意力机制构建预训练模型，然后再在该预训练模型的基础上精调。该技术不仅提高了模型在跨被试实验上的情绪识别精度，而且减少了网络训练时间，同时也适用于小样本数据的下游任务，同时能够较好地解决跨被试实验的准确率低的问题；此外在数据较少的情况下，仍然能够达到较好的效果。
[0018]2、与现有技术相比，本申请采用的是基于自注意力机制的模型，该模型结合了自注意力机制和残差的优点，构造了自注意力残差模型，是一种深度学习模型；3、与现有技术相比，本申请直接对EEG特征采用自注意力机制来获取更优的特征，可大大简化了模型复杂度，降低了模型预训练时间；其次，本申请引入了残差网络，而残差网络已被证明可以有效提升模型分类性能，而且还能缓解模型在训练过程中的梯度爆炸或梯度消失问题。而现有技术所使用的模型未对潜在的问题(梯度爆炸或梯度消失)设计预备方案；4、现有采用LSTM+CNN两种模型的组合方式提取特征的技术加大了模型复杂性，而
模型的复杂会带来训练过程中梯度消失或梯度爆炸的问题。而本申请的模型引入了残差块，这是公认的解决梯度消失与梯度爆炸问题的方法。从根本上保证了模型训练的稳定性。
[0019]本申请的一个或多个实施例的细节在以下附图和描述中提出，以使本申请的其他特征、目的和优点更加简明易懂。
附图说明
[0020]此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：图1是根据本申请实施例的基于自注意力机制的脑电情绪识别方法的流程；图2是根据本申请实施例的模型创建流程；图3是根据本申请实施例的电子装置的硬件结构示意图。
具体实施方式
[0021]这里将详细的对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本说明书一个或多个实施例相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本说明书一个或多个实施例的一些方面相一致的装置和方法的例子。
[0022]需要说明的是：在其他实施例中并不一定按照本说明书示出和描述的顺序来执行相应方法的步骤。在一些其他实施例中，其方法所包括的步骤可以比本说明书所描述的更多或更少。此外，本说明书中本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于自注意力机制的脑电情绪识别方法，其特征在于，包括以下步骤：S1、获取被试者的原始脑电数据，依据该原始脑电数据得到被试者的不同情绪状态并赋予对应的情绪标签；其中，通过情绪认知因素设计一体式E
‑
prime实验范式，采集多位被试的自发和诱发式EEG信号得到被试者的原始脑电数据；S2、去除原始脑电数据中的干扰信号并提取原始脑电数据中每一个通道的特征；其中，去除原始脑电数据中的眨眼伪迹，再通过带通滤波器滤波并通过功率普密度提取每一个通道的特征；S3、依据每一个通道的特征，基于注意力机制创建预训练模型；S4、使用不同刺激下的原始脑电数据对该预训练模型进行训练；S5、通过情绪数据集对训练后的预训练模型进行精调并输出检测结果。2.如权利要求1所述的一种基于自注意力机制的脑电情绪识别方法，其特征在于，步骤S2中，采用独立成分分析法去除原始脑电数据中的眨眼伪迹。3.如权利要求1所述的一种基于自注意力机制的脑电情绪识别方法，其特征在于，步骤S3中，以每一个通道的特征以及开始、切分及结束三个通道作为特征矩阵输入至预训练模型中。4.如权利要求3所述的一种基于自注意力机制的脑电情绪识别方法，其特征在于，步骤S3中，特征矩阵中每一行代表一个通道的所有特征。5.如权利要求1所述的一种基于自注意力机制的脑电情绪识别方法...

【专利技术属性】
技术研发人员：王忠泉，曾虹，张杰，何丹娜，占丰平，顾立明，王锋，敬文磊，陈锐，仲建跃，
申请(专利权)人：杭州罗莱迪思科技股份有限公司，
类型：发明
国别省市：