【技术实现步骤摘要】
本专利技术属于医学图像处理和计算机视觉领域，具体涉及一种基于多分支融合图网络的多模态磁共振影像辅助分类系统。
技术介绍
1、精神分裂症(schizophrenia，sz)是一种严重影响人类健康、且流行广泛的精神疾病，可以被认为是所有精神疾病中最严重的一种。其症状包括现实扭曲、混乱以及消极症状，给患者带来了巨大的身心痛苦与经济负担。目前精神分裂症的主要诊断方式是参照精神疾病的诊断分类系统，这是一种医生基于量表对患者临床表现的主观评估，相对缺乏客观性。
2、磁共振影像(magnetic resonance image，mri)作为一种非侵入式成像手段，为我们提供了研究大脑内部活动的方式。根据采集方法与目标的不同，核磁共振仪器可以采集不同模态的mri，如结构性mri(structural mri，smri)、功能性mri(functional mri，fmri)、弥散张量成像(diffusion tensor imaging，dti)。不同的模态因其不同的侧重存在大脑信息的差异，但也存在许多共性。
3、机器学习及深度学习技术的兴起，使我们拥有了高效地分析核磁共振图像数据内部关系的有效手段。由于大脑本质类似网络结构，因而图卷积网络的深度学习方法较传统卷积网络更适用于mri的分类。但目前的技术大部分都基于一个模态的mri进行分类任务，很少有将多个模态的mri结合以进行疾病的分类。对于同一个样本，多模态的mri能更全面的展示样本的大脑信息，并为疾病分类提供更多的依据。
技术实现思路
1、为了解决现有技术中存在的问题，本专利技术提出了一种多分支融合图网络来进行多模态的磁共振影像辅助分类系统，充分利用单个样本多个模态的mri构造多个图数据，经各分支图自注意力网络提取特征后，进行特征融合最终完成分类任务。
2、本专利技术采用的技术方案为：
3、基于多分支融合图网络的多模态磁共振影像辅助分类系统，该系统包括依次连接的mri预处理模块与mri分类模块；
4、所述mri预处理模块的输入为磁共振成像仪采集的多个模态的磁共振影像mri，即输入为mri样本，对输入的mri样本进行数据预处理后，输出mri样本的多个模态的mri图结构数据；
5、其中，mri预处理模块执行的数据预处理方式具体为：
6、对磁共振成像仪采集的多个模态的mri分别进行标准化操作，以获取校正后的各个模态的mri；
7、将校正后的mri配准到标准mni(montreal neurological institute)空间；再利用预置的脑区分割模版对mri进行脑区分割，基于脑区分割后的每个模态的mri图像分别构造成图结构数据，得到mri样本的多个模态的mri图结构数据；
8、mri分类模块，配置上为根据mri预处理模块输出的多个模态的mri图结构数据和预设的样本标签进行mri分类，得到mri样本的类别；
9、所述mri分类模块包括依次连接的节点筛选网络与融合图分类网络；
10、所述节点筛选网络配置为获取各模态的mri图结构数据，生成各分支分类结果以及输出各分支分类过程贡献的节点权重；所述节点筛选网络包括多个并行连接的单分支分类器，每个单分支分类器获取一个模态的mri图结构数据，并输出分类结果；同时返回图节点对分类结果的贡献权重，即节点权重；
11、所述单分支分类器采用的单分支分类器结构为：依次包括两个子模块以及至少一层的全连接层，每个子模块包括依次包括图卷积层、规范化批处理和relu激活函数，且每个子模块的图卷积层的输出端还接入一个节点权重生成器，融合两个节点权重生成器的输出得到每个分类器生成的节点权重；
12、所述融合图分类网络包含依次连接的图融合计算器与融合分支分类器，其中，图融合计算器配置为获取所有分支的mri图结构数据与单分支分类器生成的节点权重，并根据节点权重从大到小筛选出指定数量的优选节点，对筛选出的优选节点的mri图结构数据基于节点权重进行加权融合得到节点融合图并输出至融合分支分类器；
13、所述融合分支分类器采用的分类器结构与单分支分类器的结构相似：依次包括两个子模块以及至少一层的全连接层，每个子模块包括依次包括图卷积层、规范化批处理和relu激活函数。
14、进一步的，基于多分支图融合网络的多模态磁共振影像辅助分类系统还包括模型训练模块，该模型训练模块配置为根据交叉熵函数并利用深度学习算法对mri分类模块进行模型训练，且训练时的损失值包括节点筛选网络的单分支分类结果的分类损失，以及融合分类结果的分类损失。
15、本专利技术提供的技术方案至少带来如下有益效果：
16、本专利技术提供的多分支网络充分利用了同一样本的多个模态的数据信息，使得模态间信息能够互补，进而提高了mri图像的分类性能；同时，通过筛选节点进行融合图分类的方法，充分利用了每个模态对于分类有显著贡献的特征，同时使模态间的联系能被更有效地学习，避免了简单的特征拼接操作对模态异质性的引入。
本文档来自技高网...【技术保护点】
1.基于多分支融合图网络的多模态磁共振影像辅助分类系统，其特征在于，该系统包括依次连接的MRI预处理模块与MRI分类模块；
2.如权利要求1所述的系统，其特征在于，该系统还包括模型训练模块，所述模型训练模块配置为根据交叉熵函数并利用深度学习算法对MRI分类模块进行模型训练；且训练时的损失值包括节点筛选网络的单分支分类结果的分类损失，以及融合分类结果的分类损失。
3.如权利要求1所述的系统，其特征在于，所述图结构数据为有向图结构数据，包括模态图数据的顶点集合，模态图数据的边集合，模态图数据的节点特征集合。
4.如权利要求3所述的的系统，其特征在于，图结构数据包括三个模态，分别为结构性MRI、功能性MRI和弥散张量成像；
5.如权利要求4所述的系统，其特征在于，模型训练模块对MRI分类模块进行模型训练时采用的损失函数为：
【技术特征摘要】
1.基于多分支融合图网络的多模态磁共振影像辅助分类系统，其特征在于，该系统包括依次连接的mri预处理模块与mri分类模块；
2.如权利要求1所述的系统，其特征在于，该系统还包括模型训练模块，所述模型训练模块配置为根据交叉熵函数并利用深度学习算法对mri分类模块进行模型训练；且训练时的损失值包括节点筛选网络的单分支分类结果的分类损失，以及融合分类结果的分类损失。
...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。