【技术实现步骤摘要】
本专利技术属于医学影像智能分析，涉及到一种基于多模态深度学习的脑胶质瘤idh基因型预测方法。
技术介绍
1、脑胶质瘤是成人最常见的颅内原发性恶性肿瘤，约占中枢神经系统恶性肿瘤的82.4％。脑胶质瘤isocitrate dehydrogenase(idh)基因型预测(突变型或野生型)对脑胶质瘤预后评估和疗效预测具有重要意义。目前，免疫组化和基因测序是预测idh基因型的主要方法，但是这些方法都需要通过手术切除或者活检来获取脑胶质瘤标本，是有创的病理诊断方法且费用昂贵，而且诊断结果存在采样偏倚和滞后的问题。magnetic resonanceimaging(mri)是脑胶质瘤临床诊疗中最常用的成像技术，具有t1wi、t2wi、ce-t1wi、flair、dwi等多模态的多个成像序列，脑胶质瘤在这些序列中呈现出不同的特点，例如，t1wi和t2wi可以清楚显示脑胶质瘤侵袭范围，flair可以完整地显示脑胶质瘤内部异质性和瘤周水肿程度，ce-t1wi则可以提示脑胶质瘤强化方式并区分实体瘤与周围浸润部位。近年来，多模态深度学习技术通过融合多种mri序列的信息在idh基因型预测方面显示出了巨大的潜力，但是现有的多模态idh基因型预测方法仍存在以下两方面的问题：
2、一方面，现有的多模态idh基因型预测方法需要先将脑胶质瘤区域分割出来，预测性能依赖于脑胶质瘤分割的精度，如果分割结果存在误差或不准确，那么基因型预测的准确性也会受到影响，而且精准的脑胶质瘤标记过程是非常耗时耗力的，无法满足实时的临床应用需求。
3、另一方面，在
4、这些问题限制了现有的多模态idh基因型预测方法的效率和准确性，阻碍其投入实际的临床应用。
技术实现思路
1、为了解决上述技术问题，本专利技术提供一种基于多模态深度学习的脑胶质瘤idh基因型预测方法，设计特征提取器获取每个mri序列的局部-全局特征；利用脑胶质瘤分割任务引导特征提取器自动捕获每个mri序列脑胶质瘤区域的特征，解决了模型依赖于脑胶质瘤标注的问题；基于相似度对多个mri序列的局部-全局特征进行跨模态增强并使用注意力机制对特征进行融合，首先将相似度较大的mri序列特征增强，以去除冗余信息，然后利用通道和空间注意力机制进一步特征融合，从而充分利用mri序列间的互补信息。该方法通过跨模态特征有效融合可以大大提高idh基因型预测的效率和准确率，可作为人工智能辅助诊疗工具投入临床应用中，辅助医生对脑胶质瘤idh基因型进行有效预测。
2、一种基于多模态深度学习的脑胶质瘤idh基因型预测方法，包括如下步骤：
3、对多个样本的多模态mri序列图像进行预处理，得到数据样本集，所述数据样本集包括各个样本的多个mri序列的图像数据；
4、利用脑胶质瘤分割任务引导设计的特征提取器获取每个输入mri序列的脑胶质瘤区域的局部-全局特征，首先使用3d cnn骨干网络提取每个模态mri序列的局部特征，然后使用transformer进一步提取其全局上下文信息，最后利用脑胶质瘤分割解码器获取每个mri序列的包含局部和全局上下文信息的脑胶质瘤区域特征描述；
5、根据所述特征描述，通过计算多个mri序列间的特征相似度进行跨模态特征增强并使用注意力机制对特征进行融合。根据计算的特征相似度的大小采取不同的特征计算策略，对相似度较大的mri序列，利用求和和最大化方法进行跨模态特征增强并去除冗余，然后，利用通道注意力机制和空间注意力机制进行特征融合从而获取跨模态的多序列融合特征；
6、根据所述多序列融合特征，利用idh基因型分类器对样本的idh基因型进行预测，预测类型包括突变型和野生型；
7、联合脑胶质瘤分割和idh基因型预测两个任务设计损失函数，并用于训练和更新模型参数。
8、进一步地，所述对多个样本的多个mri序列进行预处理，得到数据样本集，包括：
9、对各样本中的多个mri序列进行影像配准，得到初始图像数据t＝[t1,t2,…,ti,…,tn]，0≤i≤n，n为样本个数，ti为第i个样本，tn为第n个样本，ti＝[ti1,ti2,…,tij,…,tim]，0≤j≤m，m为第i个样本中的mri序列的个数，ti1为第i个样本中的第1个mri序列的初始图像数据，ti2为第i个样本中的第2个mri序列的初始图像数据，tij为第i个样本中的第j个mri序列的初始图像数据，tim为第i个样本中的第m个mri序列的初始图像数据；
10、根据初始图像数据t，对其中的mri序列进行灰度归一化和裁剪，得到输入数据样本集x＝[x1,x2,…,xi,…,xn]，xi为灰度归一化和裁剪后的第i个样本，xn为灰度归一化和裁剪后的第n个样本，xi＝[xi1,xi2,…,xij,…,xim]，xi1为第i个样本中的第1个mri序列的图像数据，xi2为第i个样本中的第2个mri序列的图像数据，xij为第i个样本中的第j个mri序列的图像数据，xim为第i个样本中的第m个mri序列的图像数据，xij∈rc×h×w×d，其中，c表示图像数据对应的通道数，h表示图像数据对应的高度，w表示图像数据对应的宽度，d表示图像数据对应的深度。
11、进一步地，所述灰度归一化的处理方法为最大值最小值归一化。
12、进一步地，设计特征提取器获取每个mri序列的局部-全局特征，并利用脑胶质瘤分割任务引导特征提取器自动捕获每个mri序列脑胶质瘤区域的特征，首先对所述数据样本集进行3d cnn特征提取，得到局部特征，进而根据所述局部特征，利用transformer特征提取器得到包含全局上下文信息的局部-全局特征，然后利用脑胶质瘤分割解码器得到脑胶质瘤区域的局部-全局特征，具体说明如下：
13、将所述数据样本集输入到3d cnn特征提取器中抽取各个样本中的每个mri序列的局部特征，得到局部特征为第i个样本的局部特征，为第n个样本的局部特征，为第i个样本中的第1个mri序列的局部特征，为第i个样本中的第2个mri序列的局部特征，为第i个样本中的第j个mri序列的局部特征，为第i个样本中的第m个mri序列的局部特征，c′表示局部特征对应的通道数，h′表示局部特征对应的高度，w′表示局部特征对应的宽度，d′表示局部特征对应的深度；
14、将局部特征fcnn输入到transformer特征提取器，进一步提取每个样本中的每个mri序列的全局上下文信息，得到局部-全局特征为第i个样本的局部-全局特征，为第n个样本的局部-全局特征，为第i个样本中的第1个mri序列的局部-全局特征，为第i个样本中的第2个mri序列的局部-全局特征，为第i个样本中的第j个mri序列的局部-全局特征，为第i个样本中的第m个mri序列的局部-全局本文档来自技高网...
【技术保护点】
1.一种基于多模态深度学习的脑胶质瘤IDH基因型预测方法，其特征在于，包括如下步骤：
2.根据权利要求1所述的基于多模态深度学习的脑胶质瘤IDH基因型预测方法，其特征在于，所述对多个样本的多模态MRI序列图像进行预处理，得到数据样本集，包括：
3.根据权利要求2所述的基于多模态深度学习的脑胶质瘤IDH基因型预测方法，其特征在于，所述灰度归一化的处理方法为最大值最小值归一化。
4.根据权利要求2所述的基于多模态深度学习的脑胶质瘤IDH基因型预测方法，其特征在于设计特征提取器获取每个MRI序列的局部-全局特征，并利用脑胶质瘤分割任务引导特征提取器自动捕获每个MRI序列脑胶质瘤区域的特征；首先对所述数据样本集进行3DCNN特征提取，得到局部特征，进而根据所述局部特征，利用Transformer特征提取器得到包含全局上下文信息的局部-全局特征，然后利用脑胶质瘤分割解码器得到脑胶质瘤区域的局部-全局特征，具体说明如下：
5.根据权利要求4所述的基于多模态深度学习的脑胶质瘤IDH基因型预测方法，其特征在于，3D CNN特征提取器由5个卷积块组成
6.根据权利要求4所述的基于多模态深度学习的脑胶质瘤IDH基因型预测方法，其特征在于，根据所述局部-全局特征，通过计算多个MRI序列间的特征相似度进行跨模态特征增强并使用注意力机制对特征进行融合，得到跨模态的多序列融合特征，包括：
7.根据权利要求6所述的基于多模态深度学习的脑胶质瘤IDH基因型预测方法，其特征在于，根据所述多序列融合特征，得到样本IDH基因型属于突变型或野生型的预测概率，包括：
8.根据权利要求7所述的基于多模态深度学习的脑胶质瘤IDH基因型预测方法，其特征在于，联合脑胶质瘤分割和IDH基因型预测两个任务设计损失函数，并用于训练和更新模型参数，损失函数公式为：
...【技术特征摘要】
1.一种基于多模态深度学习的脑胶质瘤idh基因型预测方法，其特征在于，包括如下步骤：
2.根据权利要求1所述的基于多模态深度学习的脑胶质瘤idh基因型预测方法，其特征在于，所述对多个样本的多模态mri序列图像进行预处理，得到数据样本集，包括：
3.根据权利要求2所述的基于多模态深度学习的脑胶质瘤idh基因型预测方法，其特征在于，所述灰度归一化的处理方法为最大值最小值归一化。
4.根据权利要求2所述的基于多模态深度学习的脑胶质瘤idh基因型预测方法，其特征在于设计特征提取器获取每个mri序列的局部-全局特征，并利用脑胶质瘤分割任务引导特征提取器自动捕获每个mri序列脑胶质瘤区域的特征；首先对所述数据样本集进行3dcnn特征提取，得到局部特征，进而根据所述局部特征，利用transformer特征提取器得到包含全局上下文信息的局部-全局特征，然后利用脑胶质瘤分割解码器得到脑胶质瘤区域的局部-全局特征，具体说明如下：
5.根据权利要求4所述的基于...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。