一种基于多特征域注意力网络的脑电认知负荷评估方法及系统技术方案

本发明专利技术属于脑电数据处理技术领域，公开一种基于多特征域注意力网络的脑电认知负荷评估方法及系统，该方法首先根据大脑处理任务的神经反应构建三维特征输入，然后通过多尺度卷积构建多样性多角度的特征候选集，并将低层的注意力特征跨越式的与高层注意力特征相结合，以学习到不同尺寸的多样性注意力特征，便于网络的高级特征组合，以实现对低、中、高三个负荷等级的有效评估。通过实验结果发现本发明专利技术构建的网络与其他四种流行网络相比获得了最高的分类精确度，从而有效地提高脑电认知负荷的评估性能。估性能。估性能。

【技术实现步骤摘要】
一种基于多特征域注意力网络的脑电认知负荷评估方法及系统


[0001]本专利技术涉及脑电数据处理
，尤其涉及一种基于多特征域注意力网络的脑电认知负荷评估方法及系统。

技术介绍

[0002]脑电信号作为一种神经反应能及时地反映操作人员在进行任务时的认知状态，其中认知负荷的高低将直接决定操作人员的主观能动性和生产效率。因此进行操作人员认知负荷的评估以避免负荷过载和欠载的情况对于安全生产至关重要。然而，脑电信号的微弱性和非平稳性限制了认知负荷评估的性能。当前主流的特征提取方法大多采用单一融合方法，无法实现高层次特征的提取。因此从多方面考虑来提高特征的融合性和表征能力对于认知负荷评估的短时需求和泛化性具有重要意义。

技术实现思路

[0003]本专利技术针对当前主流的特征提取方法大多采用单一融合方法，无法实现高层次特征的提取的问题，提出一种基于多特征域注意力网络的脑电认知负荷评估方法及系统，基于多通道脑电图信号的时频空结构，提出了一种用于认知负荷评估的多特征域注意力网络，按照认知任务的神经机制，将脑电数据整合为三维特征输入，并通过多尺度卷积和跨联式的Swin
‑
Transformer结构提取局部和全局特征，最后通过平均池化操作进行降维，并利用全连接层进行分类。
[0004]为了实现上述目的，本专利技术采用以下技术方案：
[0005]本专利技术一方面提出一种基于多特征域注意力网络的脑电认知负荷评估方法，所述多特征域注意力网络包括多尺度卷积、跨联式的Swin
‑
>Transformer结构、平均池化层、全连接层，该方法包括：
[0006]步骤1：将原始脑电数据按照大脑处理任务的机制，在空间、时间和频域维度上进行三维特征输入；
[0007]步骤2：通过多尺度卷积提取不同感受野上的局部特征，增加特征候选集的丰富性；
[0008]步骤3：通过跨联式的Swin
‑
Transformer结构将低层的注意力特征跨越式的与高层注意力特征相结合，以学习到不同尺寸的多样性注意力特征；
[0009]步骤4：通过平均池化层进行降维，并利用全连接层进行分类；
[0010]进一步地，在所述步骤1之前，还包括：
[0011]设计模拟任务，包括：从公开数据集SynISAR的模拟图像中选取45％～55％、65％～75％、85％～95％的掩蔽率图像作为低、中、高三个工作量等级，不同目标在同一掩蔽率下的图像旋转角度保持一致，选取6个飞机模型进行正式实验，且每种模型在单个工作量等级下选取45张图片，共选取45
×6×
3张掩蔽图像，采用g.HIamp EEG采集系统采集EEG信号。
[0012]进一步地，所述步骤1包括：
[0013]绘制模拟任务中图像判别按键前1s内神经反应的各导联的时频图。首先利用短时傅里叶变换进行不同电极通道脑电数据的时频图转换。频谱图由MALTAB自带的频谱函数获得，并通过汉明窗长度16，重叠窗口长度13和傅里叶变换点数为256的参数设置，获得大小为70
×
81的单通道时频图，分别表示0～60Hz的频域能量和0～1000ms的时域信息。其中汉明窗用于减少频谱泄露和保持良好的频率分辨率。然后将所有通道的时频图进行叠加，构建为62
×
70
×
81的三维输入张量。
[0014]进一步地，所述步骤2中，采用多尺度卷积模块进行局部特征提取，将各个卷积模块进行并行拼接增加特征候选集的丰富性。多尺度卷积处理流程包括1
×
1卷积层、3
×
3卷积层、5
×
5卷积层和最大池化层，不同分支仅包含一个具有唯一规模的卷积核。为了确保不同尺度卷积后特征大小的一致性，首先通过1
×
1的卷积层进行降维，减少网络参数并集成局部相关性，再根据卷积核的尺寸填充对应的三维张量。
[0015]进一步地，所述步骤3包括：
[0016]构建一个跨联式的Swin
‑
Transformer模块来提取层级式的全局注意力特征。共分为3个阶段，每个阶段分别有2个Swin
‑
Transformer块。在阶段中首先将输入的特征矩阵通过Patch分区层分割成不重叠的Patches，并通过Linear Embeding对每个通道的数据进行线性变化。对于给定的C
×
H
×
W的输入尺寸，三个阶段的输出特征尺寸分别为C
×
H/4
×
W/4、2C
×
H/8
×
W/8和4C
×
H/16
×
W/16。采用短路连接(skip connection)的方式建立前面Swin
‑
Transformer块与后面层的密集连接(dense connection)。为确保上下层特征图拼接时尺寸的一致性，分别选取合适的卷积尺寸对前面层特征图进行卷积操作后，再对特征层批归一化(batch normalization)后进行拼接操作，以避免数据量级差异。
[0017]本专利技术另一方面提出一种基于多特征域注意力网络的脑电认知负荷评估系统，所述多特征域注意力网络包括多尺度卷积、跨联式的Swin
‑
Transformer结构、平均池化层、全连接层，该系统包括：
[0018]三维特征矩阵构建模块，用于将原始脑电数据按照大脑处理任务的机制，在空间、时间和频域维度上进行三维特征输入；
[0019]多尺度卷积模块，用于通过多尺度卷积提取不同感受野上的局部特征，增加特征候选集的丰富性；
[0020]跨联式Swin
‑
Transformer模块，用于通过跨联式的Swin
‑
Transformer结构将低层的注意力特征跨越式的与高层注意力特征相结合，以学习到不同尺寸的多样性注意力特征；
[0021]分类模块，用于通过平均池化操作进行降维，并利用全连接层进行分类。
[0022]进一步地，还包括：
[0023]模拟任务设计模块，用于设计模拟任务，包括：从公开数据集SynISAR的模拟图像中选取45％～55％、65％～75％、85％～95％的掩蔽率图像作为低、中、高三个工作量等级，不同目标在同一掩蔽率下的图像旋转角度保持一致，选取6个飞机模型进行正式实验，且每种模型在单个工作量等级下选取45张图片，共选取45
×6×
3张掩蔽图像，采用g.HIamp EEG采集系统采集EEG信号。
[0024]进一步地，所述三维特征矩阵构建模块具体用于：
[0025]绘制模拟任务中图像判别按键前1s内神经反应的各导联的时频图，首先利用短时傅里叶变换进行不同电极通道脑电数据的时频图转换，频谱图由MALTAB自带的频谱函数获得，并通过汉明窗长度16，重叠窗口长度13和傅里叶变换点数为256本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多特征域注意力网络的脑电认知负荷评估方法，其特征在于，所述多特征域注意力网络包括多尺度卷积、跨联式的Swin
‑
Transformer结构、平均池化层、全连接层，该方法包括：步骤1：将原始脑电数据按照大脑处理任务的机制，在空间、时间和频域维度上进行三维特征输入；步骤2：通过多尺度卷积提取不同感受野上的局部特征，增加特征候选集的丰富性；步骤3：通过跨联式的Swin
‑
Transformer结构将低层的注意力特征跨越式的与高层注意力特征相结合，以学习到不同尺寸的多样性注意力特征；步骤4：通过平均池化层进行降维，并利用全连接层进行分类。2.根据权利要求1所述的一种基于多特征域注意力网络的脑电认知负荷评估方法，其特征在于，在所述步骤1之前，还包括：设计模拟任务，包括：从公开数据集SynISAR的模拟图像中选取45％～55％、65％～75％、85％～95％的掩蔽率图像作为低、中、高三个工作量等级，不同目标在同一掩蔽率下的图像旋转角度保持一致，选取6个飞机模型进行正式实验，且每种模型在单个工作量等级下选取45张图片，共选取45
×6×
3张掩蔽图像，采用g.HIamp EEG采集系统采集EEG信号。3.根据权利要求2所述的一种基于多特征域注意力网络的脑电认知负荷评估方法，其特征在于，所述步骤1包括：绘制模拟任务中图像判别按键前1s内神经反应的各导联的时频图，首先利用短时傅里叶变换进行不同电极通道脑电数据的时频图转换，频谱图由MALTAB自带的频谱函数获得，并通过汉明窗长度16，重叠窗口长度13和傅里叶变换点数为256的参数设置，获得大小为70
×
81的单通道时频图，分别表示0～60Hz的频域能量和0～1000ms的时域信息，然后将所有通道的时频图进行叠加，构建为62
×
70
×
81的三维输入张量。4.根据权利要求1所述的一种基于多特征域注意力网络的脑电认知负荷评估方法，其特征在于，所述步骤2中，采用多尺度卷积进行局部特征提取，将各个卷积进行并行拼接，所述多尺度卷积处理流程包括1
×
1卷积层、3
×
3卷积层、5
×
5卷积层和最大池化层，不同分支仅包含一个具有唯一规模的卷积核。5.根据权利要求1所述的一种基于多特征域注意力网络的脑电认知负荷评估方法，其特征在于，所述步骤3包括：构建一个跨联式的Swin
‑
Transformer结构来提取层级式的全局注意力特征，共分为3个阶段，每个阶段分别有2个Swin
‑
Transformer块，在各阶段中首先将输入的特征矩阵通过Patch分区层分割成不重叠的Patches，并通过线性嵌入对每个通道的数据进行线性变化，对于给定的C
×
H
×
W的输入尺寸，三个阶段的输出特征尺寸分别为C
×
H/4
×
W/4、2C
×
H/8
×
W/8和4C
×
H/16
×
W/16，采用短路连接的方式建立连接。6.一种基于多特征域注意力网络的脑电认知负荷评估系统，其特征在于，所述多特征域注意力网络包括多尺度卷积、跨联式的Sw...

【专利技术属性】
技术研发人员：闫镔，李中锐，童莉，曾颖，张融恺，
申请(专利权)人：中国人民解放军战略支援部队信息工程大学，
类型：发明
国别省市：