基于生成式自监督学习和脑电信号的情绪识别方法及系统技术方案

本发明专利技术实施例提供一种基于生成式自监督学习和脑电信号的情绪识别方法及系统。该方法包括：将用于反映被试者脑电信号的微分熵特征输入至多视角掩码自编码模型，对微分熵特征进行重构，对多视角掩码自编码模型的编解码器进行预训练，将编码器作为脑电信号的通用特征提取器；基于目标被试者的校准脑电信号以及基准情绪标签对通用特征提取器进行个性化训练，得到目标被试者自监督学习的情绪预测器；基于情绪预测器对采集到的目标被试者的脑电数据进行个性化情绪预测。本发明专利技术实施例将重建掩蔽脑电通道作为预训练阶段的代理任务，挖掘无标签数据的信息并赋予模型解码损坏的脑电数据的能力，解决从少量标记和损坏的脑电数据解码情绪的问题。绪的问题。绪的问题。

【技术实现步骤摘要】
基于生成式自监督学习和脑电信号的情绪识别方法及系统


[0001]本专利技术涉及情感脑机接口
，尤其涉及一种基于生成式自监督学习和脑电信号的情绪识别方法及系统。

技术介绍

[0002]情绪识别在情感脑机接口和心理健康评估中起着重要作用，例如，许多情感障碍疾病都与情绪有关，准确评估患者的情绪状态将有助于情感障碍疾病的治疗。同样的，在智能助手的交互中，能够准确识别用户的情绪，也可以推送/反馈对用户更个性化的信息，提高用户的体验。
[0003]虽然现有识别情绪的方式有多种，例如面部表情、眼球运动、皮肤电导反应、心电和脑电等多种方式，但利用脑电图信号能够以较高的时间分辨率揭示情绪的微妙变化，在分析情绪状态时更加客观和准确。
[0004]随着脑电情感识别技术的迅速发展，研究人员可以成功地解码在实验室场景下收集的有标注的、高质量的脑电数据。通过这些有标注的、高质量的脑电数据训练情绪识别模型来准确的评估人们的情绪。
[0005]在实现本专利技术过程中，专利技术人发现相关技术中至少存在如下问题：
[0006]脑电数据的标注耗时且工作量大，且收集高质量的脑电数据的实验室场景通常难以大面积铺设，限制了高质量脑电数据的采集。虽然使用便携式干电极脑电图等设备可以在日常环境中采集脑电数据，但这种环境中存在噪声干扰，而脑电图信号又对噪声比较敏感，在日常环境采集的脑电数据容易受到使用者和环境的损害，难以训练出高精的情绪识别模型。

技术实现思路

[0007]为了至少解决现有技术中日常环境采集的脑电数据容易受到使用者和环境的损害，难以训练出高精的情绪识别模型的问题。第一方面，本专利技术实施例提供一种基于生成式自监督学习和脑电信号的情绪识别方法，包括：
[0008]将用于反映被试者脑电信号的微分熵特征输入至多视角掩码自编码模型，对所述微分熵特征进行频域和/或空间和/或时间维度的重构，得到用于模拟无标注和/或受损脑电信号的多视角重构微分熵特征，基于所述多视角重构微分熵特征对所述多视角掩码自编码模型的编、解码器进行预训练，将得到的编码器作为所述脑电信号的通用特征提取器；
[0009]基于目标被试者的校准脑电信号以及所述校准脑电信号对应的基准情绪标签对所述通用特征提取器进行个性化训练，得到针对于所述目标被试者自监督学习的情绪预测器；
[0010]基于所述情绪预测器对采集到的所述目标被试者的脑电数据进行个性化情绪预测，其中，所述脑电数据包括：无标注的脑电信号、受损的脑电信号。
[0011]第二方面，本专利技术实施例提供一种情绪识别系统，包括：
[0012]通用特征程序模块，用于将用于反映被试者脑电信号的微分熵特征输入至多视角掩码自编码模型，对所述微分熵特征进行频域和/或空间和/或时间维度的重构，得到用于模拟无标注和/或受损脑电信号的多视角重构微分熵特征，基于所述多视角重构微分熵特征对所述多视角掩码自编码模型的编、解码器进行预训练，将得到的编码器作为所述脑电信号的通用特征提取器；
[0013]个性化训练程序模块，用于基于目标被试者的校准脑电信号以及所述校准脑电信号对应的基准情绪标签对所述通用特征提取器进行个性化训练，得到针对于所述目标被试者自监督学习的情绪预测器；
[0014]情绪识别程序模块，用于基于所述情绪预测器对采集到的所述目标被试者的脑电数据进行个性化情绪预测，其中，所述脑电数据包括：无标注的脑电信号、受损的脑电信号。
[0015]第三方面，提供一种电子设备，其包括：至少一个处理器，以及与所述至少一个处理器通信连接的存储器，其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行本专利技术任一实施例基于生成式自监督学习和脑电信号的情绪识别方法的步骤。
[0016]第四方面，本专利技术实施例提供一种存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现本专利技术任一实施例的基于生成式自监督学习和脑电信号的情绪识别方法的步骤。
[0017]本专利技术实施例的有益效果在于：将重建掩蔽脑电通道作为预训练阶段的代理任务，充分挖掘无标签数据的信息并赋予模型解码少量标记和损坏的脑电数据的能力，基于CNN
‑
Transformer的混合结构充分利用了脑电信号的频谱、时间和空间域的信息，进而通过重建掩蔽脑电通道的生成式自监督学习，解决从少量标记和损坏的脑电数据解码情绪的问题。
附图说明
[0018]为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0019]图1是本专利技术一实施例提供的一种基于生成式自监督学习和脑电信号的情绪识别方法的流程图；
[0020]图2是本专利技术一实施例提供的一种基于生成式自监督学习和脑电信号的情绪识别方法的多视角掩码自编码器的自监督学习模型架构示意图；
[0021]图3是本专利技术一实施例提供的一种基于生成式自监督学习和脑电信号的情绪识别方法的脑电通道示意图；
[0022]图4是本专利技术一实施例提供的一种基于生成式自监督学习和脑电信号的情绪识别方法的使用所有标记的训练数据时平均精度和标准偏差示意图；
[0023]图5是本专利技术一实施例提供的一种基于生成式自监督学习和脑电信号的情绪识别方法的使用少量标记的训练数据时平均精度和标准偏差示意图；
[0024]图6是本专利技术一实施例提供的一种基于生成式自监督学习和脑电信号的情绪识别
方法的标记训练数据的受损示意图；
[0025]图7是本专利技术一实施例提供的一种基于生成式自监督学习和脑电信号的情绪识别方法的分级性能的烧蚀研究示意图；
[0026]图8是本专利技术一实施例提供的一种基于生成式自监督学习和脑电信号的情绪识别方法使用少量和所有标记数据来校准对于三类、四类情绪状态区分的混淆矩阵示意图；
[0027]图9是本专利技术一实施例提供的一种基于生成式自监督学习和脑电信号的情绪识别方法的测试数据以不同掩蔽率对脑电通道进行掩蔽损坏后的重建可视化示意图；
[0028]图10是本专利技术一实施例提供的一种基于生成式自监督学习和脑电信号的情绪识别系统的结构示意图；
[0029]图11为本专利技术一实施例提供的一种基于生成式自监督学习和脑电信号的情绪识别的电子设备的实施例的结构示意图。
具体实施方式
[0030]为使本专利技术实施例的目的、技术方案和优点更加清楚，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0031]如图1所示为本专利技术一实施例提供的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于生成式自监督学习和脑电信号的情绪识别方法，包括：将用于反映被试者脑电信号的微分熵特征输入至多视角掩码自编码模型，对所述微分熵特征进行频域和/或空间和/或时间维度的重构，得到用于模拟无标注和/或受损脑电信号的多视角重构微分熵特征，基于所述多视角重构微分熵特征对所述多视角掩码自编码模型的编、解码器进行预训练，将得到的编码器作为所述脑电信号的通用特征提取器；基于目标被试者的校准脑电信号以及所述校准脑电信号对应的基准情绪标签对所述通用特征提取器进行个性化训练，得到针对于所述目标被试者自监督学习的情绪预测器；基于所述情绪预测器对采集到的所述目标被试者的脑电数据进行个性化情绪预测，其中，所述脑电数据包括：无标注的脑电信号、受损的脑电信号。2.根据权利要求1所述的方法，其中，所述多视角掩码自编码模型由频谱嵌入层、空间位置编码层、脑电通道掩码层、混合编码块以及与所述混合编码块对称的混合解码块组成，其中，所述频谱嵌入层用于提取微分熵特征的频谱信息；所述空间位置编码层用于对脑电通道的空间位置进行编码，用于损毁及重构，其中，所述脑电通道的空间位置编码方式包括正弦余弦位置编码；所述脑电通道掩码层用于将重构的微分熵特征按通道划分为可见子集和掩码子集；所述混合编码块用于捕捉所述可见子集中脑电通道间的依赖关系，确定脑电的多视角融合特征；所述混合解码块用于通过可见子集和掩码子集确定原始脑电特征，基于所述原始脑电特征以及所述解码器输出的重构脑电特征的重构损失对所述混合编码块以及所述混合解码块进行预训练，得到所述脑电信号的通用特征提取器。3.根据权利要求2所述的方法，其中，所述混合编码块包括：时间因果卷积层、多头空间自注意力层，其中，所述时间因果卷积层包括多尺度时间卷积核，用于对可见子集中的脑电通道时间信息进行提取；所述多头空间自注意力层用于捕捉划分后可见子集的脑电通道间的空间依赖关系。4.根据权利要求2所述的方法，其中，所述基于所述原始脑电特征以及所述解码器输出的重构脑电特征的重构损失对所述混合编码块以及所述混合解码块进行预训练包括：将确定出的所述解码器输出的重构脑电特征与所述原始脑电特征的均方误差作为重构损失，基于所述重构损失所述混合编码块以...

【专利技术属性】
技术研发人员：吕宝粮，
申请(专利权)人：上海零唯一思科技有限公司，
类型：发明
国别省市：