基于多模态多轴向的混洗残差与MLP的脑肿瘤识别方法技术

技术编号：40539692 阅读：5 留言：0更新日期：2024-03-05 18:54

本发明专利技术提供基于多模态多轴向的混洗残差与MLP的脑肿瘤识别方法，属于计算机图像分类技术领域，解决了现有方法在脑肿瘤识别时仅考虑单模态和单轴向所带来的局限问题；包括：S1、获取多类脑肿瘤的多模态医学影像，进行多轴向数据预处理；S2、获取ResNet50模型，改进模型中第1个卷积层和第1次下采样的池化层；S3、继续改进，将通道混洗模块添加至模型中；S4、继续改进，将模型的全连接层替换为MLP；S5、进行模型训练，得到脑肿瘤识别模型，并应用于实际的脑肿瘤识别任务；本发明专利技术通过训练数据源和模型结构的改进，提高了模型的信息应用能力，使模型具备更强的学习与泛化能力，提高了脑肿瘤识别的准确性和可靠性。

全部详细技术资料下载

【技术实现步骤摘要】

本专利技术属于计算机深度学习图像分类，应用于脑肿瘤识别过程中，具体为基于多模态多轴向的混洗残差与mlp的脑肿瘤识别方法。

技术介绍

1、脑肿瘤是一种复杂的颅内疾病，会对患者的健康和生活质量造成严重影响。脑肿瘤分为多种类型，包括胶质瘤、转移瘤、脑膜瘤和垂体瘤等，具有各不相同的发展速度和症状；因此，针对脑肿瘤的分类识别就至关重要，可确定患者的最优治疗方案。但目前技术下的脑肿瘤的识别任务仍具有挑战性。

2、核磁共振(mri)是脑肿瘤术前进行的常规影像检查；其中的标准增强mri检查共包括四类模态，分别为t1、t1增强、t2和flair；这四类模态提供了颅内组织在不同对比度下的信息，能作为医生观察和分析病变区域的有力工具。

3、如今，深度学习技术在医学影像分析领域取得了令人瞩目的进展，新的图像分析和深度学习方法正逐渐应用于脑肿瘤的分类识别过程中，同样取得了卓越的成果；但随着相关技术的进一步发展，肿瘤识别技术又暴露出了新的问题。

4、在现有技术中，识别过程通常只单一地考虑了一种模态，导致训练后的神经网络模型出现权重泛化能力不足的问题；识别过程同时还仅考虑了一种轴向切片的情况，导致大量有效信息的损失，最终训练出的神经网络模型的识别精度不高，难以达到预期效果。

5、因此，在图像分类领域如何充分发挥深度学习技术的优势，为肿瘤识别过程提供具有更好精确性和更高准确性的技术方案，尤其是改善脑肿瘤的分类识别效果，就成为了本领域技术人员的核心研究要点。

技术实现思路

1、本专利技术的目的是解决现有的脑肿瘤识别过程中仅考虑单模态和单轴向时，训练出的神经网络模型中存在局限性的问题；本专利技术提出基于多模态多轴向的混洗残差与mlp的脑肿瘤识别方法，通过训练数据源和神经网络模型结构的优化改进，提高了模型的信息应用能力，使模型本身具备更强的学习能力及泛化能力，最终提高了脑肿瘤识别的准确性和可靠性。

2、本专利技术采用了以下技术方案来实现目的：

3、一种基于多模态多轴向的混洗残差与mlp的脑肿瘤识别方法，所述方法包括如下步骤：

4、s1、获取多类脑肿瘤的多模态医学影像，进行多轴向数据预处理，得到图像分类数据集；

5、s2、获取resnet50模型，改进模型中第1个卷积层和第1次下采样的池化层；

6、s3、继续改进resnet50模型，将通道混洗模块添加至模型中；

7、s4、继续改进resnet50模型，将模型的全连接层替换为mlp；

8、s5、使用图像分类数据集训练改进后的resnet50模型，训练完成后得到脑肿瘤识别模型；使用脑肿瘤识别模型进行实际的脑肿瘤识别任务。

9、具体的，步骤s1获取的医学影像中，脑肿瘤的类别包括胶质瘤、转移瘤、脑膜瘤和垂体瘤，每类脑肿瘤的模态均包括基于mri的t1、t1增强、t2和flair。

10、优选的，在对医学影像进行多轴向数据预处理时，将每类脑肿瘤的每个模态影像均沿着x、y、z三个轴面进行序列切片，挑选出脑肿瘤病理区域的所有图像，形成图像分类数据集。

11、优选的，形成图像分类数据集后，对图像分类数据集中的图像数据进行线性增强，并对数据集本身进行归一化处理。

12、进一步的，步骤s2中，首先获取原始的resnet50模型，并对其进行改进；将原始模型的第1个卷积层的卷积核由7×7改变为4×4，对应步长由3改变为4；同时在模型卷积过程中令padding＝0，即不进行填充。

13、具体的，第1个卷积层改进完成后，将模型的第1个最大池下采样改变为步长为2的卷积层。

14、进一步的，步骤s3中，将通道混洗模块添加至resnet50模型的3×3逐通道卷积层之前，构建出混洗残差模块。

15、具体的，在混洗残差模块中，输入特征图首先经过1×1降维卷积层、第一bn层和第一relu激活函数，接着进入通道混洗模块，进行通道信息混洗；混洗后的特征图进入3×3逐通道卷积层、第二bn层和第二relu激活函数；最后，特征图经过1×1升维卷积层和第三bn层，完成处理后输出；混洗残差模块进行下采样时，若特征图尺寸发生变化，则将输入特征图额外经过1个1×1卷积层和第四bn层的旁路，令旁路输出与原有结构输出相叠加后，作为模块总输出。

16、进一步的，步骤s4中，将resnet50模型的全连接层替换为多层感知机层；多层感知机层包括1个多层感知器mlp，多层感知器包括2个线性层和1个relu激活函数。

17、具体的，步骤s5中，在对改进后的resnet50模型进行训练时，将图像分类数据集划分为训练集、验证集和测试集；模型训练完成后，通过验证集验证脑肿瘤识别模型的性能，通过测试集测试脑肿瘤识别模型针对4类脑肿瘤的识别预测准确率。

18、综上所述，由于采用了本技术方案，充分利用cnn卷积神经网络的技术特点，并基于resnet50模型框架进行优化改进，本专利技术有益效果如下：

19、1、在进行模型训练时，采用的医学数据集具有多模态多轴向特点，能最大程度保留特征信息，同时提高脑肿瘤识别的准确性和泛化能力；

20、2、对模型结构的改进中，在浅层特征信息提取时，改变第1个卷积层的卷积核和步长大小，能提高模型的特征提取能力，同时减少卷积过程中丢失的信息量，在卷积下采样时具有了参数共享特性；

21、3、通过混洗残差模块让不同通道的信息混合，模型训练时的通道信息也具有了共享特征，使得模型具备更强的学习能力，提高模型性能；

22、4、模型中使用了多层感知机mlp来作为脑肿瘤识别的图像分类层，有助于模型学习更加复杂抽象的特征表示，增强了复杂特征的捕捉拟合能力。

本文档来自技高网...

【技术保护点】

1.一种基于多模态多轴向的混洗残差与MLP的脑肿瘤识别方法，其特征在于，所述方法包括如下步骤：

2.根据权利要求1所述的基于多模态多轴向的混洗残差与MLP的脑肿瘤识别方法，其特征在于：步骤S1获取的医学影像中，脑肿瘤的类别包括胶质瘤、转移瘤、脑膜瘤和垂体瘤，每类脑肿瘤的模态均包括基于MRI的T1、T1增强、T2和FLAIR。

3.根据权利要求2所述的基于多模态多轴向的混洗残差与MLP的脑肿瘤识别方法，其特征在于：在对医学影像进行多轴向数据预处理时，将每类脑肿瘤的每个模态影像均沿着X、Y、Z三个轴面进行序列切片，挑选出脑肿瘤病理区域的所有图像，形成图像分类数据集。

4.根据权利要求3所述的基于多模态多轴向的混洗残差与MLP的脑肿瘤识别方法，其特征在于：形成图像分类数据集后，对图像分类数据集中的图像数据进行线性增强，并对数据集本身进行归一化处理。

5.根据权利要求1所述的基于多模态多轴向的混洗残差与MLP的脑肿瘤识别方法，其特征在于：步骤S2中，首先获取原始的ResNet50模型，并对其进行改进；将原始模型的第1个卷积层的卷积核由7×7

6.根据权利要求5所述的基于多模态多轴向的混洗残差与MLP的脑肿瘤识别方法，其特征在于：第1个卷积层改进完成后，将模型的第1个最大池下采样改变为步长为2的卷积层。

7.根据权利要求1所述的基于多模态多轴向的混洗残差与MLP的脑肿瘤识别方法，其特征在于：步骤S3中，将通道混洗模块添加至ResNet50模型的3×3逐通道卷积层之前，构建出混洗残差模块。

8.根据权利要求7所述的基于多模态多轴向的混洗残差与MLP的脑肿瘤识别方法，其特征在于：在混洗残差模块中，输入特征图首先经过1×1降维卷积层、第一BN层和第一ReLU激活函数，接着进入通道混洗模块，进行通道信息混洗；混洗后的特征图进入3×3逐通道卷积层、第二BN层和第二ReLU激活函数；最后，特征图经过1×1升维卷积层和第三BN层，完成处理后输出；混洗残差模块进行下采样时，若特征图尺寸发生变化，则将输入特征图额外经过1个1×1卷积层和第四BN层的旁路，令旁路输出与原有结构输出相叠加后，作为模块总输出。

9.根据权利要求1所述的基于多模态多轴向的混洗残差与MLP的脑肿瘤识别方法，其特征在于：步骤S4中，将ResNet50模型的全连接层替换为多层感知机层，即MLP；多层感知机层包括1个多层感知器，多层感知器包括2个线性层和1个ReLU激活函数。

10.根据权利要求2所述的基于多模态多轴向的混洗残差与MLP的脑肿瘤识别方法，其特征在于：步骤S5中，在对改进后的ResNet50模型进行训练时，将图像分类数据集划分为训练集、验证集和测试集；模型训练完成后，通过验证集验证脑肿瘤识别模型的性能，通过测试集测试脑肿瘤识别模型针对4类脑肿瘤的识别预测准确率。

...

【技术特征摘要】

1.一种基于多模态多轴向的混洗残差与mlp的脑肿瘤识别方法，其特征在于，所述方法包括如下步骤：

2.根据权利要求1所述的基于多模态多轴向的混洗残差与mlp的脑肿瘤识别方法，其特征在于：步骤s1获取的医学影像中，脑肿瘤的类别包括胶质瘤、转移瘤、脑膜瘤和垂体瘤，每类脑肿瘤的模态均包括基于mri的t1、t1增强、t2和flair。

3.根据权利要求2所述的基于多模态多轴向的混洗残差与mlp的脑肿瘤识别方法，其特征在于：在对医学影像进行多轴向数据预处理时，将每类脑肿瘤的每个模态影像均沿着x、y、z三个轴面进行序列切片，挑选出脑肿瘤病理区域的所有图像，形成图像分类数据集。

4.根据权利要求3所述的基于多模态多轴向的混洗残差与mlp的脑肿瘤识别方法，其特征在于：形成图像分类数据集后，对图像分类数据集中的图像数据进行线性增强，并对数据集本身进行归一化处理。

5.根据权利要求1所述的基于多模态多轴向的混洗残差与mlp的脑肿瘤识别方法，其特征在于：步骤s2中，首先获取原始的resnet50模型，并对其进行改进；将原始模型的第1个卷积层的卷积核由7×7改变为4×4，对应步长由3改变为4；同时在模型卷积过程中令padding＝0，即不进行填充。

6.根据权利要求5所述的基于多模态多轴向的混洗残差与mlp的脑肿瘤识别方法，其特征在于：第1个卷积层改进完成后，将模型的第1个最大池下采样改变为步长为2的卷积层。

7...

【专利技术属性】
技术研发人员：崔淘，许彪，刘艳辉，杨渊，王志豪，胡晓飞，陈伟，
申请(专利权)人：中物院成都科学技术发展中心，
类型：发明
国别省市：

全部详细技术资料下载我是这个专利的主人