跨用户场景下基于注意力机制的对抗域适应的脑电情绪识别方法技术

本发明专利技术公开了一种跨用户场景下基于注意力机制的对抗域适应的脑电情绪识别方法，属于脑电情绪识别技术领域。本发明专利技术包括：首先进行数据集的收集和划分，用带有常规卷积神经网络的图卷积神经网络提取特征表示，构建一个广阔的特征空间。然后将特征空间划分为若干个区域，每个区域对应一个域判别器。训练过后，域判别器难以判别的区域，相对来说具有更好的迁移能力。通过赋予这些区域更大的权重，训练集中在多个具有更好的迁移能力的区域的对齐上。以提取到区别能力和迁移能力的情绪相关和领域不变的特征，从而提高迁移能力，获得更好的情绪识别性能。本发明专利技术方法大幅度提升了情绪识别模型的效果，具有更好的可实用性。具有更好的可实用性。具有更好的可实用性。

【技术实现步骤摘要】
跨用户场景下基于注意力机制的对抗域适应的脑电情绪识别方法


[0001]本专利技术涉及脑电情绪识别
，尤其涉及一种跨用户场景下基于注意力机制的对抗域适应的脑电情绪识别方法。

技术介绍

[0002]情绪是一种综合了人的感觉、思想和行为的状态，它包括人对外界或自身刺激的心理反应，也包括伴随这种心理反应的生理反应，在人们的日常工作和生活中，情绪的作用无处不在。如何准确识别情绪，在人机交互研究中占据重要位置，且有实际应用的意义：在交通领域中，特别是对于高速铁路和长途汽车司机来说，情绪的稳定非常重要，通过对驾驶员的情绪状态进行识别评估，就可以针对驾驶员的情绪状态判断出该驾驶员是否需要休息调理，提高驾驶安全度。在教育类产品中，用户在产品上进行任务学习，当产品识别出用户情绪较为挫败时，通过降低难度或提供一些辅助来降低用户的挫败感，保持学习动力，得到更好的用户体验。在辅助诊断领域里，具有情感障碍或者表达障碍的患者可能无法和医生达到良好的合作从而影响诊断的准确性，因此能够了解患者的情绪对心理类疾病的预防和诊断有很大的作用。随着可穿戴设备和人机交互的不断发展，基于脑电(Electroencephalographic，EEG)的情绪识别已成为一个有吸引力的研究课题。
[0003]然而，不同的个体存在个体差异性，这种个体差异性表现在每个人产生情感的方式和程度不同，对同一个刺激材料的反映不同。因此，针对一个人所训练的情绪识别模型，在训练后会对该人的情绪有着较好的识别结果。若用该模型对另一个人的情绪进行识别，结果可能就会出现大的误差。即人与人之间的这种个体差异性会导致数据分布的差异从而影响模型的泛化能力，使模型的准确性在跨受试人的应用场景中大大降低。
[0004]有几种新技术试图减少个体差异对情绪识别模型的影响。其中一种技术是特征选择。例如，Yin Zhong等人选择在源域和目标域中常见的特征，并基于这些选择的特征构建一个健壮的情绪识别模型。另一种技术是一般域适应。Lan Zirui等人领导了几种一般域适应技术的比较研究，例如迁移成分分析、子空间对齐等。他们发现，通过领域对齐，针对多个用户训练一个通用的模型的分类准确率可以提高约10％。然而，这两种技术都有一个局限性，它们需要浅层的手工提取的特征，这些特征的判别能力可能不够强，不足以代表情绪。
[0005]深度学习有助于获得情绪识别的有区分能力的特征。例如，Song Tengfei等人通过动态图卷积神经网络生成深度判别表示，以学习脑电通道之间的内在关系。Zhang Tong等人利用广义概念(broad concept)来连接所有的层次特征，以构建一个广阔的特征空间。虽然它们保持了特征的鉴别性，但它们并没有探索特征的迁移能力。
[0006]近年来，通过将域适应嵌入到深度学习中，在探索具有迁移能力的特征上取得了令人满意的效果。例如，Jin Yiming等人首先将对抗性域适应应用到基于脑电的情绪识别中，通过学习具有区别能力和迁移能力的特征，在跨用户的情绪识别场景下取得了显著的进步。后来，Li Yang等人和Zhong Peixiang等人扩展了特征提取器，进一步提高了特征的
判别性。Li Yang等人使用双向长短期记忆来学习可区分的时空脑电特征。Zhong Peixiang等人提出了一种正则化的图神经网络来提取脑电通道中的局部和全局信息。与非域适应技术相比，一般的域适应技术可以在一定程度上减少受试者之前的分布差异，但它也可能导致负迁移的发生，从而导致跨受试者场景中的情绪识别性能下降。因为只有一个域判别器，这意味着所有的特征都被视为一个整体是否要被转移。然而，特征空间中的特性并不具有相同的迁移能力，利用这一点可以提高情绪识别的性能。

技术实现思路

[0007]本专利技术的专利技术目的在于：针对上述存在的问题，提出了一种针对跨用户场景下基于注意机制的对抗域适应的脑电情绪识别方法(ADAAM
‑
ER)，以减少个体差异，提升脑电情绪识别性能。
[0008]本专利技术提供了一种跨用户场景下基于注意力机制的对抗域适应的脑电情绪识别方法，该方法包括：
[0009]信号采集步骤，采集用户在不同情绪状态下激发的脑电数据，并对不同的情绪状态下的脑电数据赋予不同的情绪标签，对脑电数据进行切割形成样本，并将样本划分为训练集和测试集；
[0010]信号预处理步骤，对采集的脑电数据进行信号预处理，并提取初始脑电信号特征；
[0011]网络构建及训练步骤：以训练集作为源域数据、测试集作为目标域数据，对情绪识别网络模型进行训练处理；
[0012]所述情绪识别网络模型包括特征提取器、基于注意力机制的使用对抗域适应处理模块和情绪标签预测器；
[0013]所述特征提取器用于提取脑电初始信号特征的多层第一脑电信号特征，并将提取到的多层第一脑电信号特征输入到基于注意力机制的使用对抗域适应处理模块，所述特征提取器包括依次连接的一层图卷积网络和多个堆叠的卷积神经网络；
[0014]所述基于注意力机制的使用对抗域适应处理模块，将每一层特征信息按照指定的划分规则分别划分为两个子区域，分别对应源域与目标域，并通过注意力机制配置每个子区域的迁移权重；即子区域的迁移能力越强，则迁移权重越大；
[0015]再基于每个子区域的迁移权重对子区域内的第一脑电信号特征进行变换处理，得到第二脑电信号特征并输入情绪标签预测器；
[0016]所述情绪标签预测器包括至少两层全连接层，用于预测样本属于各情绪类别的类别预测概率，即对第二脑电信号特征进行情绪类别的分类任何预测；
[0017]基于采集的样本对情绪识别网络模型进行深度学习训练，直到满足预设训练需求，得到训练好的情绪识别网络模型；
[0018]情绪识别处理，对实时采集得到的脑电数据进行信号预处理，并提取初始脑电信号特征，再将待识别的初始脑电信号特征输入到训练好的情绪识别网络模型，基于情绪标签预测器的输出确定识别结果：最大类别预测概率所对应的情绪类别。
[0019]进一步的，基于注意力机制的使用对抗域适应处理模块还包括：为每一个子区域配置一个判别器，用于输出当前子区域的各样本属于源域和目标域的预测概率基于所
述预测概率计算信息熵并基于信息熵确定第k个子区域的第i个样本的迁移权重移权重其中，k表示子区域标识符，i表示样本标识符。
[0020]进一步的，第一脑电信号特征的变换处理为：其中，表示第k个子区域的第i个样本的第一脑电信号特征，表示第k个子区域的第i个样本的迁移权重，表示第k个子区域的第i个样本的第二脑电信号特征。
[0021]进一步的，对情绪识别网络模型进行训练处理，所述基于注意力机制的使用对抗域适应处理模块在计算迁移权重时，计算域分类损失；所述情绪标签预测器在预测类别预测概率时，计算情绪分类损失，并结合域分类损失与情绪分类损失对情绪识别网络模型的网络参数进行更新。
[0022]进一步的，信号预处理包括降采样、带通滤波、时间窗口切割和提取差分熵特征。
本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.跨用户场景下基于注意力机制的对抗域适应的脑电情绪识别方法，其特征在于，包括：信号采集步骤，采集用户在不同情绪状态下激发的脑电数据，并对不同的情绪状态下的脑电数据赋予不同的情绪标签，对脑电数据进行切割形成样本，并将样本划分为训练集和测试集；信号预处理步骤，对采集的脑电数据进行信号预处理，并提取初始脑电信号特征；网络构建及训练步骤：以训练集作为源域数据、测试集作为目标域数据，对情绪识别网络模型进行训练处理；所述情绪识别网络模型包括特征提取器、基于注意力机制的使用对抗域适应处理模块和情绪标签预测器；所述特征提取器用于提取脑电初始信号特征的多层第一脑电信号特征，并将提取到的多层第一脑电信号特征输入到基于注意力机制的使用对抗域适应处理模块，所述特征提取器包括依次连接的一层图卷积网络和多个堆叠的卷积神经网络；所述基于注意力机制的使用对抗域适应处理模块，将每一层特征信息按照指定的划分规则分别划分为两个子区域，分别对应源域与目标域，并通过注意力机制配置每个子区域的迁移权重；即子区域的迁移能力越强，则迁移权重越大；再基于每个子区域的迁移权重对子区域内的第一脑电信号特征进行变换处理，得到第二脑电信号特征并输入情绪标签预测器；所述情绪标签预测器包括至少两层全连接层，用于预测样本属于各情绪类别的类别预测概率，即对第二脑电信号特征进行情绪类别的分类任何预测；基于采集的样本对情绪识别网络模型进行深度学习训练，直到满足预设训练需求，得到训练好的情绪识别网络模型；情绪识别处理，对实时采集得到的脑电数据进行信号预处理，并提取初始脑电信号特征，再将待识别的初始脑电信号特征输入到训练好的情绪识别网络模型，基于情绪标签预测器的输出确定识别结果：最大类别预测概率所对应的情绪类别。2.如权利要求1所述的方法，其特征在于，基于注意力机制的使用对抗域适应处理模块还包括：为每一个子区域配置一个判别器，用于输出当前子区域的各样本属于源域和目标域的预测概率基于所述预测概率计算信息熵并基于信息熵确定第k个子区域的第i个样本的迁移权重子区域的第i个样本的迁移...

【专利技术属性】
技术研发人员：叶娅兰，李云霞，朱欣，孟千贺，
申请(专利权)人：电子科技大学，
类型：发明
国别省市：