一种改进制造技术

本发明专利技术涉及图像处理领域，提供了一种改进

【技术实现步骤摘要】
一种改进ResNeXt神经网络的轻量级多模态医学图像分类方法


[0001]本专利技术涉及图像处理领域，提供了一种改进
ResNeXt
神经网络的轻量级多模态医学图像分类方法
。

技术介绍

[0002]基于传统机器学习的方法：这类方法包括支持向量机
、
随机森林
、
朴素贝叶斯等，通过特征提取和特征选择等方法，将医学图像转化为数值特征，然后使用传统机器学习算法进行分类
。
这类算法是基于手工设计的特征进行分类的，它的特征提取通常基于滤波
、
边缘检测等操作，难以捕捉图像的高层次特征和语义信息
。
并且由于传统机器学习方法所用到的分类器通常是线性分类器，比如支持向量机
(SVM)
，并不能很好的表示非线特征，因此难以处理高维和非线性的图像数据，分类器的泛化性能也有限
。
此外，传统机器学习方法因为需要手工提取特征，因此对数据量和数据质量的要求较高，需要大量的标注数据，并且数据质量对模型的性能有重要影响
。
[0003]基于深度学习的方法：这类方法使用深度卷积神经网络
(CNN)
进行特征提取和分类，包括经典的模型如
AlexNet、VGG、ResNet
等
。
这类方法通常需要大量的标注数据和计算资源，如果训练数据不足可能会导致模型的过拟合或者欠拟合，特别是对于大规模的神经网络和复杂的图像分类任务，需要更多的数据量进行模型训练
。
并且由于深度学习模型的结构复杂，在深层网络中，巨额的参数量导致模型的可解释性较差，很难理解模型在进行分类决策时的内在逻辑，且网络模型复杂，在实际应用部署时十分麻烦
。
[0004]传统机器学习方法需要手工设计特征提取器，特征表达能力有限，无法充分提取图像中的信息，基于深度学习的方法需要大量的数据和计算资源进行训练，且模型的参数数量庞大，难以部署在资源受限的移动设备上
。
在医学图像分类中，不同模态图像之间存在较大差异，传统机器学习额基于深度学习的方法对于多模态数据的处理能力较弱
。

技术实现思路

[0005]本专利技术的目的在于解决医学图像分类中，不同模态图像之间存在较大差异，传统机器学习基于深度学习的方法对于多模态数据的处理能力较弱的问题
。
[0006]为了实现上述目的本专利技术采用以下技术方案：
[0007]一种改进
ResNeXt
神经网络的轻量级多模态医学图像分类方法，包括以下步骤：
[0008]步骤1：对来自两个不同模态的医学图像进行预处理，得到处理后的图像；
[0009]步骤2：将步骤1处理后的图像按照比例划分训练集
、
测试集和验证集；
[0010]步骤3：对训练集的数据进行数据增强；
[0011]步骤4：构建子网络，分别对两个模态的图像数据进行特征提取，得到不同维度的特征张量以后，将其拼接起来；
[0012]步骤5：构建改进后的
ResNeXt
卷积神经网络作为分类模型；
[0013]步骤6：将步骤4的结果作为步骤5的输入，不同类别作为分类结果；
[0014]步骤7：对
ResNeXt
卷积神经网络进行参数优化，将最终优化的分类模型保存下来；
[0015]步骤8：将预处理之后的数据送入已经优化好的分类模型中，通过分类模型的分类器输出分类结果
。
[0016]上述技术方案中，步骤1中对输入的医学图像进行预处理，即将不同模态的图像对齐，使得它们的空间位置和方向一致，统一样本尺寸
。
[0017]上述技术方案中，步骤3中对数据集进行数据增强包括对不同模态的图像进行随机旋转
、
翻转
、
缩放
、
裁剪
。
[0018]上述技术方案中，步骤4中构建子网络包括构建的子网络
AlexNet
和子网络
DenseNet
，步骤4具体包括以下步骤：
[0019]步骤
4.1
：构建子网络
AlexNet
接收来自一个模态的图像数据并且提取其特征，得到它的特征表示，
AlexNet
包含5个卷积层，每个卷积层后面都跟着一个
ReLU
激活函数和一个局部响应归一化层，然后再连接两个最大池化层；
[0020]步骤
4.2
：构建子网络
DenseNet
接收来自另一个模态的图像数据并且提取其特征，得到它的特征表示，
DenseNet
的卷积层由多个密集块
Dense block
组成，每个密集块内的卷积层都会和前面的卷积层拼接起来作为当前卷积层的输入，保证信息充分传递，每个密集块内的卷积层都是
3X3
的卷积层，后面跟着一个
Batch Normalization
和
ReLU
激活函数；
[0021]步骤
4.3
：在两个子网络的卷积层和池化层后面加入一个全局平局池化层，将每个通道上的特征值取平均得到一个全局特征；
[0022]步骤
4.4
：将两个子网络的全局特征连接起来得到最终的特征，作为分类模型的输入
。
[0023]上述技术方案中，步骤5具体包括以下步骤：
[0024]步骤
5.1
：接收步骤4处理完的结果，这个结果就是多模态数据拼接之后的特征向量，它作为分类模型的输入；
[0025]步骤
5.2
：经过第一个卷积层，该层为一个
7X7
的卷积核，步长为2，经过卷积操作之后得到输出维度为
64
的特征图；
[0026][0027]这里的卷积操作的具体公式为：
[0028]其中
F
out
是输出特征图，
F
in
是输入特征图，
k
是卷积核的大小，
p
是
padding
，填充的大小，
s
是
stride
步长的大小；
[0029]步骤
5.3
：经过第二个卷积层，用一个
3X3
的卷积核对步骤
5.2
的特征图进行卷积操作，输入通道为
64
，卷积完以后连接一个归一化层，再连接一个
ReLU
激活函数，得到通道数为
128
的特征图；
[0030]步骤
5.4
：然后经过第一个残差块，称为残差块1，该残差块1是用深度可分离卷积替换
ResNeXt
残差块中的卷积层，并且本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种改进
ResNeXt
神经网络的轻量级多模态医学图像分类方法，其特征在于，包括以下步骤：步骤1：对来自两个不同模态的医学图像进行预处理，得到处理后的图像；步骤2：将步骤1处理后的图像按照比例划分训练集
、
测试集和验证集；步骤3：对训练集的数据进行数据增强；步骤4：构建子网络，分别对两个模态的图像数据进行特征提取，得到不同维度的特征张量以后，将其拼接起来；步骤5：构建改进后的
ResNeXt
卷积神经网络作为分类模型；步骤6：将步骤4的结果作为步骤5的输入，不同类别作为分类结果；步骤7：对
ResNeXt
卷积神经网络进行参数优化，将最终优化的分类模型保存下来；步骤8：将预处理之后的数据送入已经优化好的分类模型中，通过分类模型的分类器输出分类结果
。2.
根据权利要求1所述的一种改进
ResNeXt
神经网络的轻量级多模态医学图像分类方法，其特征在于，步骤1中对输入的医学图像进行预处理，即将不同模态的图像对齐，使得它们的空间位置和方向一致，统一样本尺寸
。3.
根据权利要求1所述的一种改进
ResNeXt
神经网络的轻量级多模态医学图像分类方法，其特征在于，步骤3中对数据集进行数据增强包括对不同模态的图像进行随机旋转
、
翻转
、
缩放
、
裁剪
。4.
根据权利要求1所述的一种改进
ResNeXt
神经网络的轻量级多模态医学图像分类方法，其特征在于，步骤4中构建子网络包括构建的子网络
AlexNet
和子网络
DenseNet
，步骤4具体包括以下步骤：步骤
4.1
：构建子网络
AlexNet
接收来自一个模态的图像数据并且提取其特征，得到它的特征表示，
AlexNet
包含5个卷积层，每个卷积层后面都跟着一个
ReLU
激活函数和一个局部响应归一化层，然后再连接两个最大池化层；步骤
4.2
：构建子网络
DenseNet
接收来自另一个模态的图像数据并且提取其特征，得到它的特征表示，
DenseNet
的卷积层由多个密集块
Dense block
组成，每个密集块内的卷积层都会和前面的卷积层拼接起来作为当前卷积层的输入，保证信息充分传递，每个密集块内的卷积层都是
3X3
的卷积层，后面跟着一个
Batch Normalization
和
ReLU
激活函数；步骤
4.3
：在两个子网络的卷积层和池化层后面加入一个全局平局池化层，将每个通道上的特征值取平均得到一个全局特征；步骤
4.4
：将两个子网络的全局特征连接起来得到最终的特征，作为分类模型的输入
。5.
根据权利要求1所述的一种改进
ResNeXt
神经网络的轻量级多模态医学图像分类方法，其特征在于，步骤5具体包括以下步骤：步骤
5.1
：接收步骤4处理完的结果，这个结果就是多模态数据拼接之后的特征向量，它作为分类模型的输入；步骤
5.2
：经过第一个卷积层，该层为一个
7X7
的卷积核，步长为2...

【专利技术属性】
技术研发人员：付立军，仇慧琪，李旭，伍强，刘婧，
申请(专利权)人：中科智禾数字科技北京有限公司，
类型：发明
国别省市：