基于多模态磁共振成像的图卷积神经网络疾病预测系统技术方案

本发明专利技术公开了一种基于多模态磁共振成像的图卷积神经网络疾病预测系统,从多模态的磁共振数据中提取多个脑区跨模态下的影像组学信息作为节点的特征，提取脑区间的连接组学信息构成邻接矩阵。T1加权结构像通过皮层重建来进行皮层信息提取，静息态磁共振数据用于计算低频振幅，局部一致性以及功能连接。通过多模态数据预处理、影像指标提取和结构化数据整合，将多模态的非结构化磁共振影像数据整合成统一的图结构数据，用图卷积神经网络的方法对疾病进行预测。以本发明专利技术计算得到的多模态特征进行疾病预测，可以更好地融合多个脑区跨模态的生理学指标以及脑区之间的相关性并提高模型的预测能力和模型在不同疾病下的泛化能力。型的预测能力和模型在不同疾病下的泛化能力。型的预测能力和模型在不同疾病下的泛化能力。

【技术实现步骤摘要】
基于多模态磁共振成像的图卷积神经网络疾病预测系统


[0001]本专利技术涉及神经影像数据分析领域，尤其涉及一种基于多模态磁共振成像的图卷积神经网络疾病预测系统。

技术介绍

[0002]多模态磁共振成像(Magneticresonanceimaging，MRI)具有多个模态的影像学信息，为研究各类疾病提供了多种生理学指标。T1加权结构像能够进行灰质和白质的分割，并可通过皮层重建来进行皮层信息提取(皮层体积、厚度和表面积等)。静息态功能磁共振成像反映了大脑在静息状态下的神经活动情况，是近年来研究脑功能和脑网络连接的一种重要方法。静息态磁共振数据可以用于计算低频振幅(Amplitudeoflowfrequencyfluctuations,ALFF)，局部一致性(Regionalhomogeneity,ReHo)以及功能连接(Functionalconnectivity,FC)。其中，ALFF用于衡量不同脑区神经元的活动强弱，ReHo描述的是某个体素与周围相邻体素时间序列的同步性，FC可用于评估脑区之间的功能关联程度。扩散磁共振成像通过测量水分子扩散差异来检测脑白质的微结构特性以及纤维束走向。扩散磁共振数据可用于扩散张量成像(Diffusiontensorimaging,DTI)，计算各向异性分数(Fractionalanisotropy,FA)、平均扩散率(Meandiffusivity,MD)等指标，也可用于神经突方向分散度和密度成像(Neuriteorientationdispersionanddensityimaging,NODDI)，计算神经突内容积比(Intra
‑
neuritevolumefraction,ICVF)以及方向分散度(Orientationdispersionindex,ODI)等。并且可以通过全脑层面的纤维追踪结果，得到脑区间的纤维连接矩阵，用于评估脑区之间的结构连接。其中，FA反映了扩散的各项异性部分与扩散张量总值的比值，MD反映了水分子单位时间内扩散运动的范围，ICVF可以反映神经密度，ODI可以量化神经突方向的离散度。
[0003]图卷积神经网络(Graphconvolutionalneuralnetwork,GCN)是一种可以从图数据中提取特征的方法，从而使用这些特征去对图数据进行节点分类和图分类。通过对多模态磁共振数据的处理，可以得到上述具有生理学意义的指标。
[0004]目前基于磁共振数据进行疾病预测的方法，一般只是分别进行单一模态的数据处理，比如基于支持向量机支持向量机（Supportvectormachines,SVM）的方法用大脑表面积和皮层厚度对精神分裂症患者做自动分类（YuanX,YanZ,ZhaoY,etal.Supportvectormachine
‑
basedclassificationoffirstepisodedrug
‑
na
ï
veschizophreniapatientsandhealthycontrolsusingstructuralMRI[J].SchizophreniaResearch,2017,214），或是基于稀疏组套索(Sparsegrouplasso,SGL)的方法用FA值来进行渐冻症患者的分类（Richie
‑
HalfordA,YeatmanJD,SimonN,etal.Multidimensionalanalysisanddetectionofinformativefeaturesinhumanbrainwhitematter[J].PLoSComputationalBiology,2021,17(6):e1009136），或是基于SVM用ALFF值对创伤后应激障碍的病人进行分类（YuanM,QiuC,MengY,etal.Pre
‑
treatmentResting
‑
StateFunctionalMRImagingPredicts
theLong
‑
TermClinicalOutcomeAfterShort
‑
TermParoxtineTreatmentinPost
‑
traumaticStressDisorder[J].FrontiersinPsychiatry,2018,9），对于多模态数据的融合还比较欠缺。多模态脑影像指标在以往研究中被证实与帕金森病（AndicaC,KamagataK,HatanoT,etal.NeuriteorientationdispersionanddensityimagingofthenigrostriatalpathwayinParkinson'sdisease:Retrogradedegenerationobservedbytract
‑
profileanalysis[J].Parkinsonism&RelatedDisorders,2018:55
‑
60），阿尔兹海默症（LiuX,GuoZ,DingY,etal.AbnormalbaselinebrainactivityinAlzheimer'sdiseasepatientswithdepression:aresting
‑
statefunctionalmagneticresonanceimagingstudy[J].Neuroradiology,2017,59(7):709
‑
714），抑郁症（VythilingamM,VermettenE,AndersonGM,etal.Hippocampalvolume,memory,andcortisolstatusinmajordepressivedisorder:effectsoftreatment.[J].BiologicalPsychiatry,2004,56(2):101
‑
112）等各类疾病密切相关。并且大规模脑影像数据是一类非结构化数据，难以进行自动化、智能化程度高的数据挖掘和分析。医学图像数据与电子病历中的文本数据都是医疗数据类型中常见的非结构化数据。尽管目前得到长足发展的卷积神经网络在图像处理领域取得广泛的应用，然而面对结构复杂的医学图像，由于其成像模态、分辨率、成像角度的多样性，仍然存在大量的局限性。通过合理的方法将非结构化的图像数据转化为结构化数据有利于后续的数据挖掘和分析。

技术实现思路

[0005]本专利技术的目的在于针对现有技术的不足，提出一种基于多模态磁共振成像的图卷积神经网络疾病预测系统，该系统可以融合多模态数据的信息并提高模型的预测能力和模型在不同疾病下的泛化能力。
[0006]本专利技术是通过以下技术方案来实现的：一种基于多模态磁共振成像的图卷积神经网络疾病预测系统，该系统包括如下模块：多模态磁共振数据获取模块，用于根据脑图谱提取多模态磁共振数据中的信息，包括结构像、静息态磁共振数据和扩散磁共本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多模态磁共振成像的图卷积神经网络疾病预测系统，其特征在于，该系统包括如下模块：多模态磁共振数据获取模块，用于根据脑图谱提取多模态磁共振数据中的信息，包括结构像、静息态磁共振数据和扩散磁共振数据；数据预处理模块，用于对结构像、静息态磁共振数据和扩散磁共振数据进行预处理；脑影像组学信息提取模块，用于根据数据预处理模块处理后的结构像计算不同脑区的皮层体积、厚度和表面积信息；根据数据预处理模块处理后的静息态磁共振数据计算不同脑区的低频振幅和局部一致性信息；根据数据预处理模块处理后的扩散磁共振数据计算不同脑区的各向异性分数、平均弥散系数、细胞内体积分数和方向扩散分数信息；脑连接组学信息提取模块，用于根据数据预处理模块处理后的静息态磁共振数据计算得到每个被试的功能连接矩阵；根据数据预处理模块处理后的扩散磁共振数据计算得到每个被试的结构连接矩阵；脑图结构构建模块，用于将脑连接组学信息提取模块得到的功能连接矩阵和结构连接矩阵相乘得到邻接矩阵，作为脑图结构的边集，将脑图谱的各个脑区作为节点集，其中包含对应脑区的脑影像组学信息，由边集和节点集构建得到脑图结构；图卷积神经网络模型构建模块，用于构建图卷积神经网络模型，以脑图结构数据作为模型输入，以被试所在的组别为标签作为模型输出，对图卷积神经网络模型进行训练，通过训练后的图卷积神经网络模型预测脑疾病。2.根据权利要求1所述的基于多模态磁共振成像的图卷积神经网络疾病预测系统，其特征在于，所述数据预处理模块预处理过程具体为对结构像去脑壳，只保留脑组织结构；对静息态磁共振数据进行头动矫正与时间矫正；对扩散磁共振数据进行去噪、头动矫正和涡流矫正。3.根据权利要求2所述的基于多模态磁共振成像的图卷积神经网络疾病预测系统，其特征在于，所述脑影像组学信息提取模块对脑组织结构的结构像进行灰白质分割；对灰白质分割后的结构像进行空间标准化，将其映射到统一的脑表面模板fsaverage上，并根据给定的脑图谱分为不同脑区；最后通过freesurfer软件进行皮层重构得到不同脑区的皮层体积、厚度和表面积信息。4.根据权利要求2所述的基于多模态磁共振成像的图卷积神经网络疾病预测系统，其特征在于，所述脑影像组学信息提取模块对矫正后的静息态磁共振数据进行空间标准化，将其线性配准到结构像以及非线性配准到统一的脑体积模板MNI152NLinin2009cAsym上；对配准后的静息态磁共振数据进行去噪、带通滤波、回归协变量和空间平滑操作，并计算得到不同脑区的低频振幅ALFF和局部一致性ReHo值信息；其中，低频振幅ALFF的频率0.01Hz
‑
0.1Hz之间，局部一致性ReHo值要在空间平滑前计算。5.根据权利要求2所述的基于多模态磁共振成像的...

【专利技术属性】
技术研发人员：张瑜，孙超良，王志超，张欢，钱浩天，蒋田仔，
申请(专利权)人：之江实验室，
类型：发明
国别省市：