【技术实现步骤摘要】
本专利技术涉及图像处理，尤其涉及一种基于特征融合网络模型的大脑mri影像分类方法。
技术介绍
1、在当前大量的大脑核磁共振影像(mri)分类研究和实践中，研究人员大多使用大脑的结构核磁共振影像(smri)直接作为特征或者由其衍生的放射组学特征(radiomics)对被试者进行分类。
2、直接将smri作为特征的方法是将mri视为自然图像，通过将在二维自然图像上使用的视觉模型，如cnn、vit等改造为能够接收、处理三维图像的模型再应用到mri上，或者从三维mri上截取若干二维切片直接输入在大规模的自然图像上预训练好的视觉模型，再对其进行微调，从而实现被试者的分类。但是该思路的问题在于：一是自然图像与mri之间存在明显的域偏移，如采集方式不同导致的噪声模式不同，语义信息不同导致的像素灰度值分布不同等问题，从而影响被试者分类的准确率；二是mri相对自然图像来说，数据样本量非常稀少，而单个三维mri的数据维度大决定了如果使用视觉模型，则该模型的参数量会很庞大，从而常常会产生模型欠拟合等问题。
3、使用smri衍生的放射组学特征的方法会从smri中抽取一系列可量化的特征，如形状特征、强度特征、纹理特征等，这些特征被成为放射组学特征。在之前的基于大脑mri的被试者分类工作中，放射组学特征被广泛使用，并且取得了令人满意的效果。然而神经科学界普遍认为，大脑是一个综合系统，可以被视为相互作用的大脑区域的复杂网络，该方法的问题主要在于放射组学特征通常独立地关注于单个或几个大脑区域，而不考虑大脑区域之间的潜在关联，忽略了复杂网
4、另一方面，研究人员利用功能核磁共振影像(fmri)和弥散核磁共振影像(dwi)将大脑分别建模为脑功能网络和脑结构网络，将这些脑网络作为特征输入到被试者分类模型，也取得了良好的效果。但是该方法的问题在于fmri、dwi等特定模态的影像由于采集时间长和临床需求少，导致数据样本量较少，很难进行大规模应用。
技术实现思路
1、基于
技术介绍
存在的技术问题，本专利技术提出了一种基于特征融合网络模型的大脑mri影像分类方法，能够更加准确地衡量不同脑区之间的复杂联系，提高了被试者分类的准确率。
2、本专利技术提出的一种基于特征融合网络模型的大脑mri影像分类方法，将大脑mri影像输入到特征融合网络模型中，以输出分类结果；
3、所述特征融合网络模型的训练过程如下：
4、s1：对所获取到的多个大脑mri影像进行预处理，将预处理后的大脑mri影像作为训练样本构建训练集；
5、s2：使用预定义的脑图谱模版，将训练集中的每一个训练样本分割为m个脑区，对每一个脑区抽取l个放射组学特征，为每个训练样本生成一个特征矩阵u∈rm×l；
6、s3：基于训练样本抽取的特征矩阵u构建区域放射组学距离相似性脑网络，得到以图表示的区域放射组学距离相似性脑网络；
7、s4：将以图表示的区域放射组学距离相似性脑网络特征与临床信息特征融合，得到样本的终特征表示向量；
8、s5：将样本的终特征表示向量输入到分类头，得到样本的预测分类结果。
9、进一步地，在步骤s3中，具体包括：
10、s31：利用图作为区域放射组学距离相似性脑网络的表示形式g＝(v,a)，其中，v表示m个大脑区域构成的节点集，a表示图的邻接矩阵，将每一个脑区视为图的节点，图的连边由图的邻接矩阵a∈rm×m定义；
11、s32：对于每种放射组学特征，计算其与所有其他放射组学特征之间的皮尔逊相关系数，去除皮尔逊相关系数大于0.9的冗余放射组学特征，得到筛选后的特征矩阵u′＝{u′i|i＝1,2,...,m}∈rm×l′，其中，l′表示筛选后的放射组学特征的数量，u′i表示第i个脑区筛选后的放射组学特征向量；
12、s33：计算用于衡量第i个脑区和第j个脑区的放射组学特征的距离相似性的距离相关系数dcor(u′i,u′j)；
13、s34：基于每个脑区的放射组学特征和其他脑区的放射组学特征的距离相关系数，将与放射组学特征向量u′i对应的脑区相连的所有连边降序排列，保留前k个最大的距离相关系数对应的连边，得到筛选后的邻接矩阵a′。
14、进一步地，在步骤s33中，距离相似性的距离相关系数dcor(u′i,u′j)的计算公式如下：
15、
16、其中，u′i表示第i个脑区抽取得到的放射组学特征向量ui经过步骤s32筛选后的放射组学特征向量，u′j表示第j个脑区抽取得到的放射组学特征向量uj经过步骤s32筛选后的放射组学特征向量，dcov(u′i,u′j)表示u′i和u′j之间的距离协方差，dcov(u′i,u′i)表示u′i的距离方差，dcov(u′j,u′j)表示u′j的距离方差。
17、进一步地，筛选后的邻接矩阵a′中每个元素a′ij计算如下：
18、
19、
20、其中，表示第i个脑区的放射组学特征向量和其他脑区的放射组学特征向量的所有距离相关系数中第k大的距离相关系数值，表示第j个脑区的放射组学特征向量和其他脑区的放射组学特征向量的所有距离相关系数中第k大的距离相关系数值，u′m表示第m个脑区抽取得到的放射组学特征向量um经过步骤s32筛选后的放射组学特征向量。
21、进一步地，步骤s4具体包括：
22、s41：将以图表示的区域放射组学距离相似性脑网络输入到密集图注意力网络，所述密集图注意力网络包括第一图注意力层、层间密集连接层、第二图注意力层以及图全局平均池化读出层；
23、s42：将e个初始临床信息特征编码成一个向量c，使用一个全连接层将c映射为临床特征向量xclinical，在将以图表示的区域放射组学距离相似性脑网络输入到密集图注意力网络中的每一层之前，将临床特征向量xclinical与以图表示的区域放射组学距离相似性脑网络的每一个节点特征向量相加；
24、s43：密集图注意力网络输出样本的终特征表示向量。
25、进一步地，在步骤s42中，将临床特征向量xclinical与以图表示的区域放射组学距离相似性脑网络的每一个节点特征向量相加，具体为：
26、在输入密集图注意力网络前，将临床特征向量xclinical与以图表示的区域放射组学距离相似性脑网络的每一个节点特征向量相加，得到一次区域放射组学距离相似性脑网络；
27、通过第一图注意力层对一次区域放射组学距离相似性脑网络进行处理，并将临床特征向量xclinical与输出的一次区域放射组学距离相似性脑网络的每一个节点特征向量相加，得到二次区域放射组学距离相似性脑网络；
28、通过层间密集连接层对二次区域放射组学距离相似性脑网络和初始输入到以图表示的区域放射组学距离相似性脑网络进行特征拼接，并将拼接后的特征输入到第二图注意力层，通过图全局平均池化读出层从第二图注意力本文档来自技高网...
【技术保护点】
1.一种基于特征融合网络模型的大脑MRI影像分类方法，其特征在于，将大脑MRI影像输入到特征融合网络模型中，以输出分类结果；
2.根据权利要求1所述的基于特征融合网络模型的大脑MRI影像分类方法，其特征在于，在步骤S3中，具体包括：
3.根据权利要求2所述的基于特征融合网络模型的大脑MRI影像分类方法，其特征在于，在步骤S33中，用于衡量第i个脑区和第j个脑区的放射组学特征的距离相似性的距离相关系数dCor(u′i,u′j)的计算公式如下：
4.根据权利要求2所述的基于特征融合网络模型的大脑MRI影像分类方法，其特征在于，筛选后的邻接矩阵A′中每个元素A′ij计算如下：
5.根据权利要求1所述的基于特征融合网络模型的大脑MRI影像分类方法，其特征在于，步骤S4具体包括：
6.根据权利要求5所述的基于特征融合网络模型的大脑MRI影像分类方法，其特征在于，在步骤S42中，将临床特征向量xclinical与以图表示的区域放射组学距离相似性脑网络的每一个节点特征向量相加，具体为：
7.根据权利要求5所述的基于特征融合
...【技术特征摘要】
1.一种基于特征融合网络模型的大脑mri影像分类方法，其特征在于，将大脑mri影像输入到特征融合网络模型中，以输出分类结果；
2.根据权利要求1所述的基于特征融合网络模型的大脑mri影像分类方法，其特征在于，在步骤s3中，具体包括：
3.根据权利要求2所述的基于特征融合网络模型的大脑mri影像分类方法，其特征在于，在步骤s33中，用于衡量第i个脑区和第j个脑区的放射组学特征的距离相似性的距离相关系数dcor(u′i,u′j)的计算公式如下：
4.根据权利要求2所述的基于特征融合网络模型的大脑mri影像分类方...
【专利技术属性】
技术研发人员：胡星灿，肖力，孙晓艳，
申请(专利权)人：合肥综合性国家科学中心人工智能研究院安徽省人工智能实验室，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。