一种基于注意力引导张量网络的想象语音分类方法及系统技术方案

本发明专利技术公开一种基于注意力引导张量网络的想象语音分类方法及系统。获取意念想象语音脑电数据，以及其对应的标签label；对上述意念想象语音脑电数据进行数据增强，构建训练数据集；构建注意力引导张量网络，利用数据集中的数据增强后训练集进行训练，并采用数据集中未增强的测试集进行测试；利用训练并验证好的注意力引导张量网络实现脑电的想象语音分类。本发明专利技术方法将数据增强以及注意力机制的分类标识位引导的张量网络技术结合起来，实现高精度的想象语音脑电分类性能。的想象语音脑电分类性能。的想象语音脑电分类性能。

【技术实现步骤摘要】
一种基于注意力引导张量网络的想象语音分类方法及系统
专利

[0001]本专利技术属于脑机接口领域，涉及一种基于注意力引导张量网络的想象语音分类方法及系统，具体是一种基于数据增强以及注意力机制的分类标识位引导的张量网络技术，对想象语音脑电数据进行数据增强，特征提取，从而判断想象语音类别的方法。

技术介绍

[0002]人们希望在未来，BCI能够解码人们直观的想象，并将其输出到现实环境中。一旦想象的单词或对话被BCI系统解码，它就可以被用作神经命令，通过语音合成输出用户想象的单词，或基于单词控制机器人和设备。因此，想象语音解码的有效性和实用性是不可忽视的重要的问题。为了实现这些类型的BCI，研究提取想象语音范式的相关特征，可以提高捕获与语音相关的大脑活动的有效性。最近，研究人员研究了各种方法，特别是深度学习方法，它随着自然语言处理技术的发展而发展，可以精确地从大脑信号中捕获音素级语音。
[0003]想象语音可以成为开发用户易于操作的直观系统的关键范例。识别用户的直观意向并将其转化为外部世界的命令是BCI的关键功能之一。使用想象的语音范式，使BC本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于注意力引导张量网络的想象语音分类方法，其特征在于所述方法包括以下步骤：步骤S1：获取意念想象语音脑电数据，以及其对应的标签label；步骤S2：对上述意念想象语音脑电数据进行数据增强，构建训练数据集；步骤S3：构建注意力引导张量网络，利用数据集中的数据增强后训练集进行训练，并采用数据集中未增强的测试集进行测试；所述注意力引导张量网络包括级联多头注意力机制的特征提取模块和张量学习网络的分类模块；1)所述级联多头注意力机制的特征提取模块包括依次串联的嵌入层、分类标识位Class Token层、位置编码层、第一LN正则化层、多头自注意力层、第一残差连接层、第二LN正则化层、前馈网络层、第二残差连接层、第三LN正则化层；所述的多头自注意力机制层将所述LN正则化层输出数据映射到不同的子空间，然后对所有子空间进行点乘运算，计算出注意力向量；最后，将所有子空间中计算的注意力向量拼接并映射到原始输入空间，得到最终的注意力向量，以实现统计想象语音数据在时间维度上的特征相关性；2)所述张量学习网络的分类模块，获取所述级联多头注意力机制的特征提取模块的输出数据中带有Class Tokens的数据，并对其进行预测分类；所述张量学习网络的分类模块包括依次串联的张量网络、激活层、全连接层；所述张量网络对输入数据进行张量化处理，以实现网络对高维想象语音数据中线性关系特征提取；步骤S4：利用训练并验证好的注意力引导张量网络实现脑电的想象语音分类。2.根据权利要求1所述方法，其特征在于步骤S2所述数据增强具体为：2.根据权利要求1所述方法，其特征在于步骤S2所述数据增强具体为：其中(X
i
,Y
i
)和(X
j
,Y
j
)是从训练数据中随机抽取的两个样本，X
i
,X
j
是原始数据输入，Y
i
,Y
j
为所对应类别的独热编码，λ∈[0,1]。3.根据权利要求1所述方法，其特征在于步骤S3中，所述级联多头注意力机制的特征提取模块中所述的嵌入层，通过全连接层将脑电数据的通道维度进行上采样，以实现增加数据维度，提取更加细粒度信息得到795*1024大小的数据；所述Class Tokens层使用随机初始化的方式生成1*1024大小的向量，将其拼接到嵌入层书的数据头部，以实现统计全局特征信息，并减少局部特征信息干扰，此时数据大小为796*1024；所述的位置编码层采用随机位置编码方法，具体为：生成与输入数据格式相同的随机数矩阵，并将上述随机数矩阵与输入数据相加作为位置编码层的输出；所述第一LN正则化层对位置编码层的输出数据进行归一化处理。4.根据权利要求1或3所述方法，其特征在于步骤S3中，多头自注意力层的表达式如下式(3)：
其中MultiHead(Q,K,V)表示最终得到的输出注意力向量；Concat表示拼接操作；where head
i
表示第i个子空间中计算出的注意力向量；i代表不同的子空间，查询向量Q、键向量K和值向量V由所述第一LN正则化层输出数据经过全连接层得到，作为多头自注意力模块的输入，W
iQ
为不同子空间中Q的映射矩阵，W
iK
为不同子空间中K的映射矩阵，W
iV
为不同子空间中V的映射矩阵，W
O
由所有子空间中的W
iV
拼接而成；单独子空间上注意力向量计算方式依次为：首先将查询向量Q与键向量K进行点乘运算，再除以键向量K的维度平方根得到查询向量Q的分数矩阵，最后将结果传入Softmax函数，利用它进行归一化得到权重矩阵，再乘以值向量V即得到一个子空间的注意力向量，表达式如下式(4)：其中Q，K，V的参数矩阵维度d
q
，d
k
，和d
v
均为128，注意力头head的数量为8，d
model
为1024；通过线性变换，将查询向量Q从d
model
维度映射为d
q
*head，将键向量K从d
model
维度映射为d
k
*head，将值向量V从d
model

【专利技术属性】
技术研发人员：孔万增，李昌盛，周文晖，王宇涵，莫良言，金宣妤，
申请(专利权)人：杭州电子科技大学，
类型：发明
国别省市：