一种自注意力动态图神经网络的脑网络表示学习方法技术

本发明专利技术公开了一种自注意力动态图神经网络的脑网络表示学习方法，属于人工智能领域，应用于智慧医疗，首先对脑电信号进行短时傅里叶变换，得到脑电信号的时频特征；然后对多通道脑电特征进行建模，利用脑电信号的拓扑结构来学习更具判别性的脑电特征表示；最后利用长短时记忆网络去提取脑网络空间特征表示的时序动态演化特性。上述方法实现了有效的特征提取，提高了脑电信号对情绪的识别作用，也极大的提高了情绪识别模型的性能。的提高了情绪识别模型的性能。的提高了情绪识别模型的性能。

【技术实现步骤摘要】
一种自注意力动态图神经网络的脑网络表示学习方法


[0001]本专利技术属于人工智能领域，应用于智慧医疗，尤其是涉及一种自注意力动态图神经网络的脑网络表示学习方法。

技术介绍

[0002]近年来，由于中枢神经系统在情感表达上的客观性，脑电信号已成为识别和推理情感最鲁棒性的线索之一。对于脑电信号，构建一个情绪识别器最关键的一点在于，如何从脑电信号中提取相应的深度特征。
[0003]当前流行的脑电情绪识别方法主要通过卷积神经网络(CNN)、循环神经网络(RNN)等深度学习模型提取单个通道的时空特征表示。然而，脑电信号各个通道在情绪表达上具有复杂的时空内在联系，在进行脑电信号特征提取时，需考虑脑电通道的空间分布信息和它们之间的相互影响。
[0004]因此，考虑多通道时空信息融合的脑电信号特征表示，对提高脑电信号情绪识别具有重要作用。由于多通道的脑电信息对情绪识别有着重要作用，在很多时候人们利用多通道数据融合方式进行情绪建模，也极大的提高了情绪识别模型的性能。

技术实现思路

[0005]本专利技术针对多通道脑电信号的动态时空演化，缺乏有效的特征提取，对情绪识别系统的性能提升带来较大影响的问题，提供一种自注意力动态图神经网络的脑网络表示学习方法。
[0006]为解决上述技术问题，本专利技术采用的技术方案是：一种自注意力动态图神经网络的脑网络表示学习方法，包括如下步骤：
[0007]步骤101，对脑电信号进行短时傅里叶变换(STFT)，得到脑电信号的时频特征，以减少原始脑电信号中的冗余信息对情绪识别的影响；
[0008]步骤102，通过脑网络对多通道脑电特征进行建模，利用脑电信号的拓扑结构来学习更具判别性的脑电特征表示；
[0009]步骤103，通过不同通道之间的空间距离定义通道之间是否是相邻的；
[0010]步骤104，利用长短时记忆网络(LSTM)去提取脑网络空间特征表示的时序动态演化特性；
[0011]将不同时刻的脑网络图展开，通过LSTM，得到每个时刻脑网络图的重要性权重，依据各个时刻的重要程度加权求和，聚焦成更有区别的脑网络结构。
[0012]在步骤101中，所述傅里叶变换的窗口长度为128，补长为128，每一次变换之中的傅里叶变换的算子数量为128。
[0013]在步骤102中，为了体现出图各个节点之间的关联，利用图注意力网络 (GAT)去聚合相邻节点的特征，具体计算方法为：
[0014][0015][0016]其中，N
v
＝{u∈V:(u,v)∈ε}是节点v的相邻节点的集合；W
s
∈R
D
×
F
是应用于每个节点的共享的转换矩阵；a∈R
2D
是一个权重向量参数；A
uv
是图的邻接矩阵；σ是非线性激活函数；
[0017]对于单个通道的特征g
v
∈G
t
，通过以上计算，得到和相邻通道之间的权重，加权平均之后的结果作为这个通道的最终表示；通过GAT之后，各个通道聚合了空间特征。
[0018]在步骤103中，具体定义为：
[0019][0020]其中d
ij
表示节点i和j之间的空间距离，将节点与其它所有节点的距离的均值E(L)作为阈值，凡是小于这个距离的都视为相邻节点，将距离的倒数作为两点之间的权重，节点和自身的权重则为所有相邻节点距离的均值的倒数。
[0021]在步骤104中，所述脑网络结构同时包含了脑电信号的空间结构特征和时序特征。
[0022]由于采用上述技术方案，本专利技术通过GAT对脑网络空间信息聚合后，再利用LSTM提取时序演变信息，实现有效的特征提取，预测最终的情绪状态，提高了脑电信号对情绪的识别作用，也极大的提高了情绪识别模型的性能。
附图说明
[0023]下面通过参考附图并结合实例具体地描述本专利技术，本专利技术的优点和实现方式将会更加明显，其中附图所示内容仅用于对本专利技术的解释说明，而不构成对本专利技术的任何意义上的限制，在附图中：
[0024]图1为本专利技术的流程示意图。
具体实施方式
[0025]如图1所示，一种自注意力动态图神经网络的脑网络表示学习方法，包括如下步骤：
[0026]步骤101，对脑电信号进行短时傅里叶变换(STFT)，得到脑电信号的时频特征，以减少原始脑电信号中的冗余信息对情绪识别的影响；其中，傅里叶变换的窗口长度为128，补长为128，每一次变换之中的傅里叶变换的算子数量为128；
[0027]步骤102，通过脑网络对多通道脑电特征进行建模，利用脑电信号的拓扑结构来学习更具判别性的脑电特征表示；为了体现出图各个节点之间的关联，利用图注意力网络(GAT，提出了用注意力机制对图中的邻近节点特征加权求和，邻近节点特征的权重完全取
决于节点特征，独立于图结构)去聚合相邻节点的特征，具体计算方法为：
[0028][0029][0030]其中，N
v
＝{u∈V:(u,v)∈ε}是节点v的相邻节点的集合；W
s
∈R
D
×
F
是应用于每个节点的共享的转换矩阵；a∈R
2D
是一个权重向量参数；A
uv
是图的邻接矩阵；σ是非线性激活函数；
[0031]对于单个通道的特征g
v
∈G
t
，通过以上计算，得到和相邻通道之间的权重，加权平均之后的结果作为这个通道的最终表示；通过GAT之后，各个通道聚合了空间特征；
[0032]步骤103，通过不同通道之间的空间距离定义通道之间是否是相邻的，具体定义为：
[0033][0034]其中d
ij
表示节点i和j之间的空间距离，将节点与其它所有节点的距离的均值E(L)作为阈值，凡是小于这个距离的都视为相邻节点，将距离的倒数作为两点之间的权重，节点和自身的权重则为所有相邻节点距离的均值的倒数；
[0035]步骤104，利用长短时记忆网络(LSTM，是一种特殊的RNN，能够用来解决循环神经网络中的长期依赖问题，在很多任务上，LSTM结构的循环神经网络表现要强于标准的循环神经网络)去提取脑网络空间特征表示的时序动态演化特性；
[0036]将不同时刻的脑网络图展开，通过LSTM，得到每个时刻脑网络图的重要性权重，依据各个时刻的重要程度加权求和，聚焦成更有区别的脑网络结构；
[0037]该脑网络结构同时包含了脑电信号的空间结构特征和时序特征。
[0038]可见，本专利技术首先将原始信号通过短时傅里叶变换，得到时频信息。再将各通道的时频信息按时间窗大小为T进行切分，形成多个脑电信号帧序列。之后每个帧的每个时刻的频谱图表示这个时刻的脑网络节点特征，两个不同节点之间的连接表示脑网络图的一条边。我们用两个不同节点之间的欧式距离的倒数来初始化每条边。因此，我们可以得到一个基本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种自注意力动态图神经网络的脑网络表示学习方法，其特征在于：包括如下步骤：步骤101，对脑电信号进行短时傅里叶变换，得到脑电信号的时频特征，以减少原始脑电信号中的冗余信息对情绪识别的影响；步骤102，通过脑网络对多通道脑电特征进行建模，利用脑电信号的拓扑结构来学习更具判别性的脑电特征表示；步骤103，通过不同通道之间的空间距离定义通道之间是否相邻；步骤104，利用长短时记忆网络去提取脑网络空间特征表示的时序动态演化特性；将不同时刻的脑网络图展开，通过长短时记忆网络，得到每个时刻脑网络图的重要性权重，依据各个时刻的重要程度加权求和，聚焦成更有区别的脑网络结构。2.根据权利要求1所述的自注意力动态图神经网络的脑网络表示学习方法，其特征在于：在步骤101中，所述傅里叶变换的窗口长度为128，补长为128，每一次变换之中的傅里叶变换的算子数量为128。3.根据权利要求1所述的自注意力动态图神经网络的脑网络表示学习方法，其特征在于：在步骤102中，为了体现出图各个节点之间的关联，利用图注意力网络去聚合相邻节点的特征，具体计算方法为：征，具体计算方法为：其中，N
v
＝{u∈V:(u,v...

【专利技术属性】
技术研发人员：李超，盛勇，赵子平，
申请(专利权)人：天津师范大学，
类型：发明
国别省市：