一种基于交叉注意力网络的跨被试脑电认知负荷评估方法技术

本发明专利技术提供提供一种基于交叉注意力网络的跨被试脑电认知负荷评估方法

【技术实现步骤摘要】
一种基于交叉注意力网络的跨被试脑电认知负荷评估方法


[0001]本专利技术涉及人机系统
，尤其涉及一种基于交叉注意力网络的跨被试脑电认知负荷评估方法
。

技术介绍

[0002]认知负荷评估是人机系统中的一项关键任务，对人机交互领域中衡量安全生产
、
资源匹配和主观能动性具有重要意义，有助于避免操作员过载，保持工作的效率和安全性
。
认知负荷的常用评估方法包括主观测量
(
问卷调查和访谈等
)、
任务表现
(
准确性和反应时间等
)
和生理测量
。
目前，脑电信号因其反映神经活动性
、
无创性
、
低成本等特点，在人机交互的心理状态监测中具有显著优势
。
然而，脑电信号的非平稳性和随机性导致了同一任务中大脑活动的个体差异
。
这为解决跨被试的认知负荷评估带来了极大的困难
。
因此进行跨被试的迁移网络研究对于认知负荷评估的泛化性具有重要意义
。
[0003]无监督领域自适应
(UDA)
方法经常被用作解决跨被试分类的有效措施，旨在提高跨领域分类的性能
。
其中浅层
UDA
方法旨在通过最小化源域和目标域之间的分布差异来学习域不变特征
。
在浅层
UDA
方法中，测量源域和目标域之间距离的算法通常包括
KL
散度
、JS
散度
、
最大平均偏差
(MMD)
和
Wasserstein
距离
。
近年来，深度无监督域自适应
(D
‑
UDA)
网络越来越受到研究人员的关注，因为其可以比浅层网络学习更多的域不变特征
。D
‑
UDA
中使用的主要方法包括基于对抗性的域自适应
、
基于差异的域自适应和基于重建的域自适应
。
基于对抗性的域自适应通过网络中的对抗训练生成与源域相关的合成数据，然后利用这些合成数据训练目标模型
。
基于差异的域适应原理是最小化源与目标分布之间的散度准则，从而得到域不变性特征
。
基于重建的域自适应常用的是基于编码器
‑
解码器的网络，并使用判别器强制该网络生成与源域相似的目标域数据
。
[0004]随着转换机制在自然语言处理
(NLP)、
计算机视觉和脑机接口领域的巨大成功，一些研究试图将转换机制应用于解决领域自适应问题
。
为了更好地解决领域自适应任务中的领域对齐和特征学习问题，
Xu
等人试图通过三分支交叉变换器框架来解决
UDA
任务，将自注意和交叉注意应用于源域和目标域的特征学习和领域对齐
。
目前常用的脑电基于深层域适应的方法大多将分布式自适应策略放在深度网络的特定任务层上，可以更好地减小域间的差异
。
然而，对于较复杂的分布，只使用单一的域自适应方法，不能很好地混淆源域和目标域
。

技术实现思路

[0005]由于脑动力学的复杂多变性，现有认知评估中的手工经验提取方法仍有待提升，因此本专利技术提供一种基于交叉注意力网络的跨被试脑电认知负荷评估方法
。
[0006]本专利技术提供一种一种基于交叉注意力网络的跨被试脑电认知负荷评估方法，包括：
[0007]步骤1：在不同等级认知负荷任务中，获取所有被试的脑电信号；
[0008]步骤2：针对每个被试，将该被试的脑电信号转换为空域
、
时域和频域维度上的三维输入的特征表示；
[0009]步骤3：基于
Swin Transformer
块构建包含源域特征学习分支
、
特征对齐分支和目标域特征学习分支三个分支的交叉注意力网络；
[0010]步骤4：将所有被试数据分为具有标签的源域数据和没有标签的目标域数据，利用源域数据和目标域数据对所述交叉注意力网络进行训练，得到认知负荷评估模型；
[0011]步骤5：获取目标被试的脑电信号的三维输入的特征表示并输入至训练好的认知负荷评估模型，得到目标被试的认知负荷等级
。
[0012]进一步地，其特征在于，步骤2具体包括：
[0013]对被试的脑电信号进行预处理；
[0014]利用短时傅里叶变换对每个电极通道的脑电数据进行处理，得到该电极通道的时频图；
[0015]将所有电极通道的时频图进行叠加得到一个三维输入张量，即为该被试的脑电信号对应的在空域
、
时域和频域维度上的三维输入的特征表示
。
[0016]进一步地，三个分支均包括
l
个串接的
Swin Transformer
块；三个分支共享权重参数，三个分支对应层上的
Swin Transformer
块构成该层的交叉注意力
Swin Transformer
块，
l
个交叉注意力
Swin Transformer
块构成交叉注意力网络
。
[0017]进一步地，所述源域特征学习分支按照公式
(1)
进行特征提取：
[0018][0019]所述特征对齐分支按照公式
(2)
进行特征提取：
[0020][0021]所述目标域特征学习分支按照公式
(3)
进行特征提取：
[0022][0023]其中，和分别表示源域特征学习分支
、
目标域特征学习分支和特征对齐分支中第
i
层
Swin Transformer
块的输出特征表示，和分别表示源域特征学习分支
、
目标域特征学习分支和特征对齐分支中第
i
‑1层
Swin Transformer
块的输出特征表示，
LN
表示层归一化，
MLP
是具有
GELU
非线性激活函数的2层全连接神经网络，
WMSA
表示窗口内自注意力计算，
WMCA
表示窗口内交叉注意力计算；
i
＝
1,2,
…
,l
；
[0024]公式
(1)
中的
WMSA
按照公式
(4)
进行计算：
[0025][0026]公式
(3)
中的
WMSA
按照公式
(5)
进行计算：
[0027][0028]公式
(2)
本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种基于交叉注意力网络的跨被试脑电认知负荷评估方法，其特征在于，包括：步骤1：在不同等级认知负荷任务中，获取所有被试的脑电信号；步骤2：针对每个被试，将该被试的脑电信号转换为空域
、
时域和频域维度上的三维输入的特征表示；步骤3：基于
Swin Transformer
块构建包含源域特征学习分支
、
特征对齐分支和目标域特征学习分支三个分支的交叉注意力网络；步骤4：将所有被试数据分为具有标签的源域数据和没有标签的目标域数据，利用源域数据和目标域数据对所述交叉注意力网络进行训练，得到认知负荷评估模型；步骤5：获取目标被试的脑电信号的三维输入的特征表示并输入至训练好的认知负荷评估模型，得到目标被试的认知负荷等级
。2.
根据权利要求1所述的一种基于交叉注意力网络的跨被试脑电认知负荷评估方法，其特征在于，步骤2具体包括：对被试的脑电信号进行预处理；利用短时傅里叶变换对每个电极通道的脑电数据进行处理，得到该电极通道的时频图；将所有电极通道的时频图进行叠加得到一个三维输入张量，即为该被试的脑电信号对应的在空域
、
时域和频域维度上的三维输入的特征表示
。3.
根据权利要求1所述的一种基于交叉注意力网络的跨被试脑电认知负荷评估方法，其特征在于，三个分支均包括
l
个串接的
Swin Transformer
块；三个分支共享权重参数，三个分支对应层上的
Swin Transformer
块构成该层的交叉注意力
Swin Transformer
块，
l
个交叉注意力
Swin Transformer
块构成交叉注意力网络
。4.
根据权利要求3所述的一种基于交叉注意力网络的跨被试脑电认知负荷评估方法，其特征在于，所述源域特征学习分支按照公式
(1)
进行特征提取：所述特征对齐分支按照公式
(2)
进行特征提取：进行特征提取：所述目标域特征学习分支按照公式
(3)
进行特征提取：其中，和分别表示源域特征学习分支
、
目标域特征学习分支和特征对齐分支中第
i
层
Swin Transformer
块的输出特征表示，和分别表示源域特征学习分支
、
目标域特征学习分支和特征对齐分支中第
i
‑1层
Swin Transformer
块的输出特征表示，
LN
表示层归一化，
MLP
是具有
GELU
非线性激活函数的2层全连接神经网络，
WMSA
表示窗口内自注意力计算，
WMCA
表示窗口内交叉注意力计算；
i
＝
1,2,
…
,l
；
公式
(1)
中的
WMSA
按照公式
(4)
进行计算：公式
(3)
中的
WMSA
按照公式
(5)
进行计算：公式
(2)
中的
WMCA
按照公式
(6)
进行计算：其中，
Q
S
,K
S
,V
S
分别表示源域特征学习分支中当前层
Swin Transformer
...

【专利技术属性】
技术研发人员：闫镔，李中锐，童莉，曾颖，高源龙，张融恺，杨凯，
申请(专利权)人：中国人民解放军战略支援部队信息工程大学，
类型：发明
国别省市：