基于线图扩展的多模态脑超图注意力网络的分类方法技术

本发明专利技术公开了基于线图扩展的多模态脑超图注意力网络的分类方法，对结构和功能磁共振影像进行预处理后，对每位受试者的磁共振影像进行结构和功能特征的提取；进行特征融合后，利用稀疏线性回归方法生成多模态超图；将多模态超图关联矩阵和多模态特征矩阵输入超图注意力网络，利用线图和超图的转换，超图的节点和超边在神经网络每一层中交替，实现同时结合超节点和超边的特征来进行节点和边的嵌入学习；使用双层注意力机制为超边和节点学习不同的权重，提取得到的特征最后经过一个softmax操作，并使用交叉熵损失函数进行分类。本发明专利技术应用于脑疾病诊断，既保留了多模态超图中超边的连通性，又利用了边到边的关系传播信息，有助于超图的整体特征学习。助于超图的整体特征学习。助于超图的整体特征学习。

【技术实现步骤摘要】
基于线图扩展的多模态脑超图注意力网络的分类方法


[0001]本专利技术属于图像处理
，涉及一种基于线图扩展的多模态脑超图注意力网络的分类方法。

技术介绍

[0002]人脑是一个高度复杂的系统，探索其内在的结构和功能是一项巨大的挑战。磁共振成像技术与超图注意力网络的结合，已成为脑科学领域的研究热点之一，并广泛应用在各项研究中。该方法在探索受试者全脑结构的相似度上取得许多令人惊喜的成果。然而，由于其自身原理和特点及方法论的限制，导致分类准确率低，严重影响了应用价值。
[0003]在传统的静息态功能磁共振分类研究中，将磁共振影像信息作与机器学习算法相结合，可以建立多种疾病的分类器和预测器。虽然机器学习作为重要的分析工具，在脑疾病诊断领域提供了新的视角，但仍存在一些问题。
[0004]首先，机器学习未能考虑受试者之间的关系，另外，在传统方法中基于感兴趣区域定义的特征表示不足以表征受试者的全部信息，且特征选择独立于后续的分类器，可能不能与后续的分类器很好的协调，潜在地导致诊断性能下降。
[0005]基于此，研究人员提出了深度学习框架，其中图神经网络其对非结构化信息的表征能力使得尤其适用于神经影像研究领域中。近年来，图神经网络已广泛应用于无侵入的脑成像技术中进行脑疾病的诊断和预测，并得到了飞跃的发展。但图卷积神经网络方法的输入是简单图，即受试者之间采用成对的连接。然而现实生活中，受试者之间的非成对关系是简单图无法表述的，传统的简单图图结构在表述相关性方面存在局限性，限制了图卷积神经网络的应用。因此超图神经网络提出，并应用于脑疾病分类诊断中。
[0006]然而，现有的超图神经网络通过聚合邻域节点的信息只能获取有效的节点嵌入，而忽略了与边有关的信息，且在嵌入学习过程中，现有研究假设超图的超边是可分解的，将超图的超边显示或隐式的通过星形扩展或连通分量扩展转化为简单图，然后对转换后的简单图进行下游挖掘任务；但是，在一条完整超边内存在的关系可能并不存在于该超边的不完全子集内，这会导致高维数据的信息丢失，不利于整体特征学习。

技术实现思路

[0007]本专利技术提供一种基于线图扩展的多模态脑超图注意力网络的分类方法，利用稀疏表示学习度量受试者间相似性构建超图，基于线图扩展的多模态脑超图注意力网络模型可以利用线图和使超节点和超边在神经网络每一层中交替，基于双层的注意力机制交替堆叠，实现同时结合超节点和超边的特征来进行节点和边的嵌入学习。
[0008]本专利技术所采用的技术方案是，基于线图扩展的多模态脑超图注意力网络的分类方法，具体按照以下步骤进行：
[0009]步骤S1：对受试者的结构磁共振影像和功能磁共振影像进行预处理，得到预处理后的结构磁共振影像和功能磁共振影像；
[0010]步骤S2：根据选定的标准化脑图谱，对预处理后的结构磁共振影像和功能磁共振影像进行脑区分割，得到分割后的结构磁共振影像和功能磁共振影像；
[0011]步骤S3：对分割后的结构磁共振影像进行结构特征提取，得到结构特征矩阵；对分割后的功能磁共振影像进行平均时间序列的提取，构建功能脑网络，进而提取功能特征，得到功能特征矩阵；将功能特征矩阵和结构特征矩阵进行特征融合，得到融合后的多模态特征；
[0012]步骤S4：基于融合后的多模态特征，利用稀疏线性回归方法，构建多模态超图，从而得到数据集，并将数据集划分为训练集和测试集，所述数据集包括多模态超图关联矩阵、超图节点特征矩阵和节点标签；
[0013]步骤S5：基于多模态超图关联矩阵，使用行规范化和列规范化，形成多模态线图邻接矩阵；
[0014]步骤S6：基于多模态线图邻接矩阵、分层的双层注意力机制、softmax函数、交叉熵损失函数，利用线图扩展法，构建多模态超图注意力网络模型，采用训练集进行训练优化；
[0015]步骤S7：采用交叉验证方法对构建的多模态超图注意力网络模型进行检验。
[0016]步骤S1中，对受试者的结构和功能磁共振影像数据进行预处理，其中，具体步骤包括：时间校正、头动校正、配准和空间标准化、低频滤波。
[0017]步骤S2中，根据选定的标准化脑图谱对影像进行脑区分割，步骤具体包括：选择国际通用的解剖标记模板(Automated Anatomical Labeling，简称AAL)作为标准化脑图谱，对预处理后的影像数据进行脑区分割。模板将全脑分割为90个脑区，其中左右半脑各45个脑区。
[0018]步骤S3中，对分割后的结构磁共振影像进行结构特征提取，具体步骤包括颅骨分离、灰白质分离；首先使用非参数非均匀强度归一化算法对强度不均匀性进行校正，然后，使用分水岭算法对得到的图像进行颅骨分离，分割成皮质下白质和灰质体积结构；将图像灰白质分离后，根据生成的高精度灰质、白质分割面计算各脑区的皮质厚度及灰质体积，从每幅图像中提取的所有脑区特征构成一个特征向量，进而得到所有被试的脑区结构特征矩阵。
[0019]然后，对分割后的功能磁共振影像进行平均时间序列的提取，具体步骤包括：提取各脑区所包含的所有体素在不同时间点上的BOLD强度，再进行算术平均得到脑区的平均时间序列，根据脑区平均时间序列得到每个脑区与其他脑区的线性组合表示，构建出功能脑网络并计算功能脑网络的属性，包括：节点度、超边度、节点效率，进而得到每个被试的功能特征矩阵。
[0020]最后，对功能和结构特征矩阵进行特征融合，具体步骤为：将得到的结构特征和功能特征进行连接。
[0021]步骤S4中，基于融合后的多模态特征，利用稀疏线性回归方法，构建多模态超图数据集，具体步骤为，将每个被试节点作为质心节点，然后通过将质心节点连接到其它节点来构建超边，以稀疏系数作为相似度度量，其中，稀疏线性回归模型具体表示如下：
[0022][0023]公式(1)中：s
m
表示质心节点与其它被试节点相关性的权重向量，x
m
表示选定的第m个被试节点的多模态特征，F
m
＝[x1，...，x
m
‑1，0，x
m+1
，...，x
M
]包含除选定被试之外的所有被
试的多模态特征，||
·
||2表示l2范数，λ表示控制模型稀疏的正则化参数，||
·
||1表示l1范数，根据x
m
，F
m
可以得到s
m
，s
m
中非零元素对应的被试即为与选定被试有相关性的被试，由此得到超边。
[0024]构建多模态超图，从而得到数据集，数据集包括多模态超图关联矩阵，超图节点特征矩阵和节点标签，多模态超图构建的具体步骤为：利用公式(1)中得到的第m个质心节点与其它被试节点相关性的权重向量s
m
，稀疏超图的权重矩阵S就被定义为S＝[s1，s2，...，s
m
，...，s
M
]T
，选定一个阈值θ，在本研究中设置本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于线图扩展的多模态脑超图注意力网络的分类方法，其特征在于，包括以下步骤：步骤S1：对受试者的结构磁共振影像和功能磁共振影像进行预处理，得到预处理后的结构磁共振影像和功能磁共振影像；步骤S2：根据选定的标准化脑图谱，对预处理后的结构磁共振影像和功能磁共振影像进行脑区分割，得到分割后的结构磁共振影像和功能磁共振影像；步骤S3：对分割后的结构磁共振影像进行结构特征提取，得到结构特征矩阵；对分割后的功能磁共振影像进行平均时间序列的提取，构建功能脑网络，进而提取功能特征，得到功能特征矩阵；将功能特征矩阵和结构特征矩阵进行特征融合，得到融合后的多模态特征；步骤S4：基于融合后的多模态特征，利用稀疏线性回归方法，构建多模态超图，从而得到数据集，并将数据集划分为训练集和测试集，所述数据集包括多模态超图关联矩阵、超图节点特征矩阵和节点标签；步骤S5：基于多模态超图关联矩阵，使用行规范化和列规范化，形成多模态线图邻接矩阵；步骤S6：基于多模态线图邻接矩阵、分层的双层注意力机制、softmax函数、交叉熵损失函数，利用线图扩展法，构建多模态超图注意力网络模型，采用训练集进行训练优化；步骤S7：采用交叉验证方法对构建的多模态超图注意力网络模型进行检验。2.根据权利要求1所述的基于线图扩展的多模态脑超图注意力网络的分类方法，其特征在于，步骤S1中，预处理的具体步骤包括：时间校正、头动校正、配准和空间标准化、低频滤波。3.根据权利要求1所述的基于线图扩展的多模态脑超图注意力网络的分类方法，其特征在于，所述步骤S3中，对分割后的结构磁共振影像进行结构特征提取，具体步骤包括：首先使用非参数非均匀强度归一化算法对强度不均匀性进行校正，然后使用分水岭算法对得到的图像进行颅骨分离，分割成皮质下白质和灰质体积结构；将图像灰白质分离后，根据生成的高精度灰质、白质分割面计算各脑区的皮质厚度及灰质体积，从每幅图像中提取的所有脑区特征构成一个特征向量，进而得到所有被试的脑区结构特征矩阵；对分割后的功能磁共振影像进行平均时间序列的提取，具体步骤包括：提取各脑区所包含的所有体素在不同时间点上的BOLD强度，再进行算术平均得到脑区的平均时间序列，根据脑区平均时间序列得到每个脑区与其他脑区的线性组合表示，构建出功能脑网络并计算功能脑网络的属性，包括：节点度、超边度、节点效率，进而得到每个被试的功能特征矩阵；对功能和结构特征矩阵进行特征融合，具体步骤包括：将得到的结构特征和功能特征进行连接。4.根据权利要求1所述的基于线图扩展的多模态脑超图注意力网络的分类方法，其特征在于，所述步骤S4中，稀疏线性回归方法具体表示如下：公式(1)中，s
m
表示其它被试与选定被试相关性的权重向量，x
m
表示选定的第m个被试的多模态特征，F
m
＝[x1，...，x
m
‑1，0，x
m+1
，...，x
M
]包含除选定被试之外的所有被试的多模态特征，||
·
||2表示l1范数，λ表示控制模型稀疏的正则化参数，||
·
||1表示l2范数，根据x
m
，F
m
可以得到s
m
，s
m
中非零元素对应的被试即为与选定被试有相关性的被试，由此得到超边；多模态超图构建的具体步骤为：根据权重向量s
m
，稀疏表示权重矩阵S定义为S＝[s1，s2，...，s
m
，...，s
M
]
T
，选定阈值θ，大于阈值的表示有连通性，小于阈值的表示没有连通性；将相似度高的节点用一条超边连接起来，多模态超图关联矩阵定义为：公式(2)中，H(v
i
，e
j
)表示多模态超图关联矩阵中对应的元素，v∈V表示节点，e∈E表示超边，θ表示阈值，S＝[s1，s2，...，s
m
，...，s
M
]
T
表示多模态稀疏超图的权重矩阵，S
i，j
表示节点v
i
在超边e
j
上的权重；超图节点特征矩阵表示被试大脑内各个脑区的结构特征和脑功能网络的特征集合，表示为X；根据被试的标签、站点、性别，将数据集划分为训练集和测试集。5.根据权利要求4所述的基于线图扩展的多模态脑超图注意力网络的分类方法，其特征在于，所述步骤S5中，具体步骤包括，将超图的超边转化为线图的节点，若两条超边共享节点，则将对应线图中的两个节点连接；使用关联矩阵的行规范化和列规范化来形成多模态线...

【专利技术属性】
技术研发人员：杨艳丽，刘进一，宿亚静，刘涛，张杨，李琦钒，刘宇轩，
申请(专利权)人：太原理工大学，
类型：发明
国别省市：