一种基于图神经网络的时空自适应端到端脑网络构建方法技术

本发明专利技术提出了一种端到端的基于图神经网络的时空自适应脑网络构建方法，包括预处理脑电信号；构建基于图神经网络的时空自适应神经网络端到端模型；加载训练后的模型参数；输入信号到构建的模型，估计有向脑网络矩阵；设置连接阈值得到显著有向连接。该模型基于序列分解与重组使得集成基于时间片段输入的长短期记忆的图神经网络模型具有时空自适应特点，训练后的模型能够作为一种广义的高效神经关系提取器，以数据驱动的方式直接获取不同脑电信号实例(不同通道数目，不同信号长度)特有的有向网络模式。从而避免传统解析方法面临的模型、假设约束等问题，同时扩展端到端方案应对不同应用场景(不同时长、不同传感器源数量下构建脑网络)的适用性，对于探寻大脑网络潜在的交互机制、提高相关研究可靠性、可重复性具有重要意义。有重要意义。有重要意义。

【技术实现步骤摘要】
一种基于图神经网络的时空自适应端到端脑网络构建方法


[0001]本专利技术属于脑网络构建领域，特别具体涉及一种基于图神经网络的时空自适应端到端脑网络构建方法。

技术介绍

[0002]脑电是一种具有高时间分辨率的非平稳信号。从非平稳信号中挖掘其固有的定向交互，时空信息挖掘和长期依赖信息丢失是需要解决的关键问题。常见的构建方法是基于多元自回归模型，如格兰杰因果方法。它基于信号过去信息与未来信息间的可预测性定义因果关系，对每个输入信号数据分别建立自回归模型，并求解对应的模型参数以构建相应的大脑有向网络。因此，不仅面临线性、信号平稳性等模型假设和超参数设定限制，其基于单个实例的模型显式求解所带来的计算成本一定程度也限制了其在更广泛的时空自适应的场景下的适用性。尽管近年来提出诸多神经网络构建脑网络的解决方案，其中多数都是基于格兰杰因果方法思想。如Talebi等人采用人工神经网络(artificial neural network，ANN)模拟多元自回归模型，通过网络的优化训练进而得到多元自回归模型，从而构建脑网络；采用循环神经网络扩展格兰杰因果方法基于拟合误差定义的信息流过程等。这些方案一定程度弥补传统模型基于信号拟合构建脑网络的缺陷，但其适用性仍受框架的限制。
[0003]端到端方案是基于数据驱动方式挖掘通用广泛的特征以构建脑网络，避免对逐个输入信号分别建模的过程。然而不同输入信号可能会存在时序范围不一致、传感器源个数不一的时空不匹配问题，针对相同时序范围、传感器源的适配问题构建相应的模型显然存在计算资源浪费等问题。因此本专利技术提出了一种端到端的时空自适应的脑网络构建方法与系统，提高图神经网络在时序范围不一致、传感器源个数不一的应用场景下构建脑网络的适用性。

技术实现思路

[0004]为避免不同实例构建脑网络重新建模问题及扩展端到端方案应对不同应用场景(不同时长、不同传感器源数量下构建脑网络)的适用性，本专利技术提出一种基于图神经网络的时空自适应端到端脑网络构建方法。
[0005]本专利技术技术方案提出一种基于图神经网络(Graph Neural Network，GNN)的时空自适应端到端脑网络构建方法，该方法经过如下步骤构建脑网络：
[0006]步骤1：预处理待分析的多通道的脑电信号以提高信号的信噪比；
[0007]步骤2：加载训练后的基于图神经网络的深度学习模型参数；
[0008]步骤3：将步骤1处理后的信号输入到构建的模型，得到有向的脑网络矩阵；
[0009]步骤4：设置连接阈值，得到显著有向连接；
[0010]所述步骤3的具体过程：
[0011]多通道脑电信号首先通过编码器编码时序特征，学习的特征再通过解码器解码，
然后输出脑网络矩阵；所述编码器包括：时序特征聚合模块和系统交互编码模块，输入编码器的多通道脑电信号首先通过时序特征聚合模块，再通过系统交互编码模块后输出；
[0012]所述时序特征聚合模块中信号处理方法为：输入信号首先经过“序列切片”切割成多个滑窗长度的时间片段，后输入到基于时间片段输入的多层长短期记忆网络(Long Short
‑
Term Memory，LSTM)，将编码的时间片段进行分组，然后采用分组采样的方法取出每组最新的时间片段重组成新的时间序列，再经过多层LSTM聚合时间特征，然后输出；
[0013]所述系统交互编码模块中信号处理方法为：系统交互编码模块的输入信号首先经过第一个边交互编码层，得到节点间交互的浅层编码特征，接着输入到节点编码层，得到节点的汇聚的平均编码特征，然后输入到第二个边交互编码层，进一步挖掘能够表现系统节点间交互的深层隐特征，再经过拼接层拼接浅层和深层交互编码特征，然后采用分组采样的方法取出每组最新的时间片段重组成新的时间序列，最后使用基于时间片段输入的多层LSTM挖掘时序的交互编码特征，取时间最近对应的片段的特征进行重塑，以适应解码器的输入；
[0014]所述的解码器结构由多个多层感知机(multilayer perceptrons，MLP)和一个修正线性单元(Rectified Linear Unit，ReLU)的映射评分函数组成，每个多层感知机由两个指数线性单元(f
B
())激活的全连接层和一个批处理归一化层(f
E
())组成。
[0015]进一步地，所述的时序特征聚合模块中基于时间片段输入多层LSTM的结构由遗忘门、记忆门、输出门单元构成；在每个时间切片中，门单元里的神经元以全连接模式同时接收当前和过去的切片特征，基于时间片段输入多层LSTM的重复链允许累积的历史切片的时间信息加入当前切片的时间信息，其中遗忘门控制历史单元状态的遗忘程度，由计算得到，记忆门控制当前信息并入当前单元状态，由和计算得到，更新单元内细胞状态：由输出门确定输出值：和σ(
·
)为非线性sigmoid函数；δ(ω)为双曲正切函数，
⊙
为Hadamard积，表示第k层遗忘门的权重矩阵，表示第k层遗忘门的偏置项，表示第q个序列切片第k层遗忘门的输出特征，表示第k层记忆门第一个分支的权重矩阵，表示第k层记忆门第一个分支的偏置项，表示第k层第q个序列切片记忆门第一个分支的输出特征，表示第k层记忆门第二个分支的权重矩阵，表示第k层记忆门第二个分支的偏置项，表示第q个序列切片第k层记忆门第二个分支的输出特征，表示第k层第q个序列切片的细胞状态，表示第k层输出门的权重矩阵，表示第k层遗忘门的偏置项，表示第q个序列切片第k层输出门的临时输出特征，表示第q个序列切片第k层输出门的输出特征，表示第(q
‑
1)个序列切片第k层输出门的输出特征，和表示了第k层单元状态和层隐藏状态的迭代初始值，k≥2，q≥1。
[0016]进一步地，所述的系统交互编码模块中的边交互编码层为：
[0017]H
υe
＝Multi
‑
LSTMs([F(RF
‑1(H
in
)),F(SF
‑1(H
in
))])
[0018]其中R和S分别为发送节点和接收节点的位置编码矩阵，H
in
为层输入，F
‑1()为序列重组过程,F()为序列分解过程，Multi
‑
LSTMs表示多层LSTM结构。
[0019]进一步地，所述的系统交互编码模块中的节点编码层为：
[0020]H
eυ
＝Multi
‑
LSTMs(F((R
T
F
‑1(H
in
)/M)))
[0021]其中，R
T
为发送节点位置编码矩阵的转置，M为系统中节点的数量。
[0022]进一步地，所述解码器中设置了多个多层感知机组合，每一个多层感知机定义为：
[0023]H
in
和H
out
分别为输入和本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于图神经网络的时空自适应端到端脑网络构建方法，该方法经过如下步骤构建脑网络：步骤1：预处理待分析的多通道的脑电信号以提高信号的信噪比；步骤2：加载训练后的基于图神经网络的深度学习模型参数；步骤3：将步骤1处理后的信号输入到构建的模型，得到有向的脑网络矩阵；步骤4：设置连接阈值，得到显著有向连接；所述步骤3的具体过程：多通道脑电信号首先通过编码器编码时序特征，学习的特征再通过解码器解码，然后输出脑网络矩阵；所述编码器包括：时序特征聚合模块和系统交互编码模块，输入编码器的多通道脑电信号首先通过时序特征聚合模块，再通过系统交互编码模块后输出；所述时序特征聚合模块中信号处理方法为：输入信号首先经过“序列切片”切割成多个滑窗长度的时间片段，后输入到基于时间片段输入的多层长短期记忆网络，将编码的时间片段进行分组，然后采用分组采样的方法取出每组最新的时间片段重组成新的时间序列，再经过多层LSTM聚合时间特征，然后输出；所述系统交互编码模块中信号处理方法为：系统交互编码模块的输入信号首先经过第一个边交互编码层，得到节点间交互的浅层编码特征，接着输入到节点编码层，得到节点的汇聚的平均编码特征，然后输入到第二个边交互编码层，进一步挖掘能够表现系统节点间交互的深层隐特征，再经过拼接层拼接浅层和深层交互编码特征，然后采用分组采样的方法取出每组最新的时间片段重组成新的时间序列，最后使用基于时间片段输入的多层LSTM挖掘时序的交互编码特征，取时间最近对应的片段的特征进行重塑，以适应解码器的输入；所述的解码器结构由多个多层感知机和一个修正线性单元的映射评分函数组成，每个多层感知机由两个指数线性单元(f
B
())激活的全连接层和一个批处理归一化层(f
E
())组成。2.如权利要求1所述的一种基于图神经网络的时空自适应端到端脑网络构建方法，其特征在于，所述的时序特征聚合模块中基于时间片段输入多层LSTM的结构由遗忘门、记忆门、输出门单元构成；在每个时间切片中，门单元里的神经元以全连接模式同时接收当前和过去的切片特征，基于时间片段输入多层LSTM的重复链允许累积的历史切片的时间信息加入当前切片的时间信息，其中遗忘门控制历史单元状态的遗忘程度，由计算得到，记忆门控制当前信息并入当前单元状态，由和计算得到，更新单元内细胞状态：由输出门确定输出值：和σ(
·
)为非线性sigmoid函数；δ(
·
)为双曲正切函数，
⊙
为Hadamard积，表示第k层遗忘门的权重矩阵，表示第k层遗忘门的偏置项，表示第q个序列切片第k层遗忘门的输出特征，表示第k层记忆门第一个分支的权重矩阵，表示第k层记忆门第一个分支的偏置项，表示第k层第q个序列切片记忆门第一个分支的输出特征，
表示第k层记忆门第二个分支的权重矩阵，表示第k层记忆门第二个分支的偏置项，表示第q个序列切片第k层记忆门第二个分支的输出特征，表示第k层第q个序列切片的细胞状态，表示第k层输出门的权重矩阵，表示第k层遗忘门的偏置项，表示第q个序列切片第k层输出门的临时输出特征，表示第q个序列切片第k层输出门的输出特征，表示第(q
...

【专利技术属性】
技术研发人员：徐鹏，陈婉钧，易婵林，李存波，牟宇锋，李发礼，尧德中，
申请(专利权)人：电子科技大学，
类型：发明
国别省市：