一种异常脑连接预测系统、方法、装置及可读存储介质制造方法及图纸

本发明专利技术公开了一种异常脑连接预测系统、方法、装置及可读存储介质，通过深度学习方法自动提取不同模态内的高阶相关特征和不同模态间的高阶互补特征，并通过对抗训练的方法实现多模态脑网络异常连接的分析和不同认知疾病的预测。本发明专利技术解决了现有方法无法精准评估脑结构形态与功能连接变化规律的问题。本发明专利技术利用先验知识引导模型学习可解释性的表征，并通过成对协同判别器约束不同模态表征分布的一致性，再通过逆向生成器和解码器对特征编码进行重构脑部图数据，最后通过超图感知融合模块提取模态间和模态内的高阶相关特征，并设置对抗损失、重构损失和分类损失函数指导模型学习，以此达到挖掘阿尔兹海默症异常脑连接的目的。的。的。

【技术实现步骤摘要】
一种异常脑连接预测系统、方法、装置及可读存储介质


[0001]本专利技术属于脑科学及图像建模
，涉及对抗学习和超图感知融合技术，具体是一种异常脑连接预测系统、方法、装置及可读存储介质。

技术介绍

[0002]现有的阿尔兹海默症辅助诊疗模型仅实现了样本分类、预测任务，无法精准地评估脑结构、形态和功能连接变化规律，难以为异常脑连接特征表达提供有效的信息，也无法为疾病诊疗提供关键的生物标志物。脑科学的临床研究表明，早期阿尔兹海默症患者会表现出脑部结构或功能连接的变化特征。
[0003]目前使用基于图的方法进行AD(Alzheimer's disease)诊断的研究可分为两类：基于图卷积(GCN,Graph convolutional network)的方法和基于超图(Hypergraph)的方法。第一种方法通过建立两个节点之间的连接来构建图数据。例如，Parisot等在每个受试者的MRI上应用卷积神经网络(CNN)提取节点特征，并利用非图像数据(如性别、年龄)建立节点连接，然后利用构建的图通过半监督学习细化节点特征用于AD诊断。为了利用本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种异常脑连接预测方法，其特征在于，包括以下步骤：对原始多模态图像数据进行处理，并从处理后的多模态图像数据中提取多模态潜在表征，通过核密度方法估计出多模态潜在表征的先验分布；利用先验分布引导双通道对抗网络结构提取原始多模态图像数据的特征、多模态潜在表征及其联合分布信息；利用超图感知融合网络建立模态间的高阶相关性，进而构建异常脑连接预测模型；基于先验引导的对抗学习损失函数、重构损失函数、分类损失函数和稀疏正则化损失函数对异常脑连接预测模型进行训练。2.根据权利要求1所述的异常脑连接预测方法，其特征在于，所述对原始多模态图像数据进行处理，并从处理后的多模态图像数据中提取多模态潜在表征，通过核密度方法估计出多模态潜在表征的先验分布，包括：步骤1，将阿尔茨海默症患者、晚期轻度认知障碍患者、早期轻度认知障碍患者和正常老年人各M位的脑部的fMRI、DTI和MRI图像作为原始数据集；步骤2，对脑部DTI图像进行预处理，得到脑白质的纤维束，并基于AAL模板将大脑皮层及皮下组织划分为N个脑区，完成脑区之间纤维束网络的构建，脑区之间的纤维束的密度即为结构性连接特征，将该连接特征作为真实图结构数据A
real
，另外构建一个生成器G，将脑部DTI图像数据直接映射为图结构数据A
fake
，判别器D约束生成的A
fake
接近真实的A
real
；对脑部fMRI图像进行预处理，然后将fMRI图像映射到AAL模板得到90个脑区的时间序列，其输出即为脑区特征矩阵X；对脑部MRI图像进行预处理，输出的三维图像大小为91
×
109
×
91，经过DenseNet40层网络，输出1
×
q大小的特征向量V；步骤3，以脑部DTI图像数据构建大小为m
×
m的连接矩阵A；以脑部fMRI图像数据构建大小为m
×
d的脑区特征矩阵X，其中m为节点的数量，d为脑区特征的长度；基于行列式点过程从A中抽取大小为s
×
s的子方阵，其中s包含左右侧的海马体以及左右侧的海马旁回，并在脑区特征矩阵X中提取对应s个脑区的特征向量，再使用PCA降维，得到大小为m
×
q的特征矩阵Z，最后通过核密度方法估计出脑区特征的先验分布P
Z
(z｜X,A)。3.根据权利要求2所述的异常脑连接预测方法，其特征在于，所述异常脑连接预测模型包括双向对抗学习网络和超图感知融合网络，所述双向对抗学习网络和超图感知融合网络中均设置有判别器、超边感知卷积模块，用于对多模态数据的高阶特征和互补特征进行提取。4.根据权利要求3所述的异常脑连接预测方法，其特征在于，所述双向对抗学习网络采用双通道对抗网络结构，所述双通道对抗网络结构基于双映射脑区特征空间的真伪进行对抗学习，提取有意义的认知疾病脑区特征表示，具体方法如下：(1)对抗阶段的流程生成器G1接受脑部结构连接特征A和功能特征X作为输入，输出大小为N
×
q的潜在的脑区表征；编码器S接受脑部结构连接特征A和脑部形态特征V为输入和输出大小为N
×
q的潜在的脑区表征；从脑部多模态的先验分布P
Z
(Z｜X,A)中采样潜在脑区特征Z，将其送给生成器G2，得到大小为N
×
d的脑区表征；然后，将(,Z)、(X,)和(X,)三对数据输入到
判别器D
XZ
中进行对抗性训练；其中，脑部功能特征X和脑部形态特征Z是正样本；潜在脑区表征、和为负样本；其中，两层GCN分别作为生成器G1、生成器G2和编码器S；(2)重构阶段的流程；生成器G对隐层脑区特征进行重建，恢复原始输入的脑部结构A
’
和功能特征X
’
；重建阶段通过矩阵内积运算σ()，将隐层脑区特征送入生成器G2，重新构造大小为N
×
d的脑区功能X
’
，并重新构造大小为N
×
N的脑区结构连接特征A
’
；将隐层脑区特征输入解码器S
’
，以构造大小为1
×
q的脑区形态特征V
’
；生成器G2和解码器S
’
都是两层GCN，在隐层中分别设置不同的参数；(3)分类阶段的流程；通过分类器C1来约束潜在脑区表征和，其结构为：特征表示首先沿着维度方向取平均，然后送到一个两层多层感知进行认知疾病类别的预测。5.根据权利要求4所述的异常脑连接预测方法，其特征在于，所述判别器由两个独立的子网络和一个协同子网络组成；所有的子网都有三层；上层子网络的...

【专利技术属性】
技术研发人员：王书强，左乾坤，申妍燕，
申请(专利权)人：中国科学院深圳理工大学筹，
类型：发明
国别省市：