一种基于自监督制造技术

本发明专利技术公开了一种基于自监督

【技术实现步骤摘要】
一种基于自监督Graph
‑
Transformer的多模态大脑网络重要区域识别方法


[0001]本专利技术属于模式识别
，具体涉及一种多模态大脑网络重要区域识别方法
。

技术介绍

[0002]人类大脑是一个极其复杂的系统，协调着人类的认知
、
行为等
。
研究大脑网络中的重要区域在脑成像领域具有重要意义，这有助于更好地了解大脑的工作机制
。
大脑涉及到神经元之间的很多连接，核磁共振成像
(Magnetic Resonance Imaging
，
MRI)
等非侵入性大脑成像技术为大脑建模和分析提供了便利
。
长期以来的研究表明，在大脑网络中存在一组重要区域起着重要作用
。
现有的工作一般基于图论的先验知识，比如探索具有高度中心性或者构成富人俱乐部的区域作为大脑的重要区域
。
但这些研究是从先验知识的角度而不是从大脑数据本身的角度来探索大脑重要区域
。
在大脑网络的真实架构尚未被完全了解的情况下，过度依赖先验知识可能会忽视大脑网络本身的内在特征，这导致不能充分识别大脑的重要区域
。

技术实现思路

[0003]为了克服现有技术的不足，本专利技术提供了一种基于自监督
Graph
‑
Transformer
的多模态大脑网络重要区域识别方法，首先将大脑的
MRI
数据构建成多模态脑图，将大脑的结构信息和功能信息分别映射为图的边特征和点特征；然后通过自监督模型
(GR
‑
GT)
，识别重要的脑图节点
。GR
‑
GT
采用编码器
‑
解码器的架构，将脑图作为输入并输出重构脑图，要求重构脑图尽可能接近原始脑图，并提取出所有的脑图节点对重构任务的贡献得分
。
具有高贡献得分的节点，说明对重构任务更重要，是本专利技术识别的大脑重要区域
。
本专利技术通过完全数据驱动的方式而非手工特征去分析数据，从而识别大脑网络的重要区域，有效避免了先验知识带来的固有限制
。
[0004]本专利技术解决其技术问题所采用的技术方案包括如下步骤：
[0005]步骤1：将大脑
MRI
数据构建成多模态脑图；
[0006]将大脑定义为一个无向图
G
＝
{V
，
E}
，
V
＝
{v
i
|i∈1
，2，
...
，
N}
表示图的节点集合，具有
N
个节点；表示图的节点特征；表示图的邻接矩阵；
[0007]首先通过大脑分区模板将大脑表面划分为
N
个区域，作为图的节点；然后，使用功能
MRI
信号，计算节点之间的功能信号的皮尔逊相关系数得到功能相似矩阵，将其作为图的节点特征矩阵
X
，每个节点的特征向量长度
D
＝
N
；最后，使用弥散张量成像
DTI
数据，计算节点之间的纤维连接得到结构连接矩阵，并通过稀疏化和二值化处理，得到图的邻接矩阵
E
；
[0008]步骤2：通过自监督模型
GR
‑
GT
模块得到大脑节点的贡献得分；
[0009]在自监督模型
GR
‑
GT
模块中，采用编码器
‑
解码器结构实现图重构任务，并得到节点的贡献得分；
[0010]首先将步骤1得到的脑图作为输入，利用编码器模块提取图的节点表示，然后利用掩码得分模块获取节点的贡献得分，最后利用解码器模块重构图的节点特征；
[0011]编码器模块：将
Transformer
与图卷积
GCN
结合，首先采用
Transformer
层将自注意力机制应用于图的所有节点，然后使用
GCN
结合图的拓扑信息；过程如式
(1)
和式
(2)
所示：
[0012]H
′
(k+1)
＝
Attention
V
(H
(k)
Q
(k)
，
H
(k)
K
(k)
，
H
(k)
V
(k)
)(1)
[0013]H
(k+1)
＝
GCN(E
，
H
′
(k+1)
)(2)
[0014]其中
H
(k)
为编码器模块中第
k
层的图节点表示，
V
为图的所有节点的集合，为投影矩阵，
Attention
V
表示对图的所有节点使用自注意力机制，
E
表示图的邻接矩阵；
[0015]掩码得分模块：该模块位于编码器模块之后和解码器模块之前；编码器模块的输出是图的节点表示作为掩码得分模块的输入；经过多层感知机
MLP
和
softmax
后，
Z
被映射为
p
被视为图节点的贡献得分；然后按照比例
k
，对得分较低的节点进行屏蔽，并赋予掩码表示向量；最后，对图的节点表示和贡献得分进行哈达玛积运算，作为解码模块的输入；计算过程如式
(3)
所示：
[0016]p
＝
softmax(MLP(Z))
[0017]idx
＝
rank(p
，1‑
k)
[0018][0019][0020]其中
softmax
为非线性函数，
rank
表示排序函数，
idx
表示将
p
排序后数值高的索引，
q
表示屏蔽节点的掩码表示向量，
cat
表示按原顺序将节点表示与掩码表示向量拼接起来，
⊙
表示哈达玛积，
Z
′
表示解码器模块的输入；
[0021]解码器模块：解码器模块的输入是带有掩码信息的图节点表示，输出是重构出图的节点特征；解码器模块与编码器模块结构相同；
[0022]GR
‑
GT
模块通过预测图的节点特征重建图；损失函数是重构图节点的特征矩阵
Y
与输入图节点的特征矩阵
X
之间的均方误差
MSE
；
[0023]步骤3：将数据集通过步骤1和步骤2，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种基于自监督
Graph
‑
Transformer
的多模态大脑网络重要区域识别方法，其特征在于，包括如下步骤：步骤1：将大脑
MRI
数据构建成多模态脑图；将大脑定义为一个无向图
G
＝
{V,E}
，
V
＝
{v
i
|i∈1,2,
…
,N}
表示图的节点集合，具有
N
个节点；表示图的节点特征；表示图的邻接矩阵；首先通过大脑分区模板将大脑表面划分为
N
个区域，作为图的节点；然后，使用功能
MRI
信号，计算节点之间的功能信号的皮尔逊相关系数得到功能相似矩阵，将其作为图的节点特征矩阵
X
，每个节点的特征向量长度
D
＝
N
；最后，使用弥散张量成像
DTI
数据，计算节点之间的纤维连接得到结构连接矩阵，并通过稀疏化和二值化处理，得到图的邻接矩阵
E
；步骤2：通过自监督模型
GR
‑
GT
模块得到大脑节点的贡献得分；在自监督模型
GR
‑
GT
模块中，采用编码器
‑
解码器结构实现图重构任务，并得到节点的贡献得分；首先将步骤1得到的脑图作为输入，利用编码器模块提取图的节点表示，然后利用掩码得分模块获取节点的贡献得分，最后利用解码器模块重构图的节点特征；编码器模块：将
Transformer
与图卷积
GCN
结合，首先采用
Transformer
层将自注意力机制应用于图的所有节点，然后使用
GCN
结合图的拓扑信息；过程如式
(1)
和式
(2)
所示：
H'
(k+1)
＝
Attention
v
(H
(k)
Q
(k)
,H
(k)
K
(k)
,H
(k)
V
(k)
)(1)H
(k+1)
＝
GCN(E,H'
(k+1)
)(2)
其中
H
(k)
为编码器模块中第
k
层的图节点表示，
V
为图的所有节点的集合，为投影矩阵，
Attention
V
表示对图的所有节点使用自注意力机制，
E
表示图的邻接矩阵；掩码得分模块：该模块位于编码器模块之后和解码器模块之前；编码器模块的输出是图的节点表示作为掩码得分模块的输入；经过多层感知机
MLP
和
softmax
后，
Z
被映射为

【专利技术属性】
技术研发人员：张枢，康艳晴，史恩泽，喻四刚，王嘉琪，
申请(专利权)人：西北工业大学，
类型：发明
国别省市：