一种基于多注意力融合的医学图像分割模型构建方法技术

本发明专利技术公开了一种轻量化的ECA

【技术实现步骤摘要】
一种基于多注意力融合的医学图像分割模型构建方法


[0001]本专利技术属于医学图像分割
，特别涉及一种基于多注意力融合的医学图像分割模型构建方法。

技术介绍

[0002]医学图像中目标对象的分割和随后的定量评估为病理学分析提供有价值的信息，并且对于治疗策略的规划、疾病进展的检测和患者结果的预测非常重要。医学图像的成像方式包括MR和CT等，与自然场景下的成像方式不同，医学图像纹理更加复杂。医学影像成像过程中容易受到外界因素干扰或成像设备的限制产生噪声和伪影。人体器官大多数是由特征相似的软组织组成，因此不同器官的边界很难进行区分。以上因素导致医学图像标注困难，即使是具有丰富临床经验的医生也难以保证标注的质量，因为这不仅仅取决专家的专业能力，大量的标注对于专家的耐心程度也是极大的考验。所以，基于传统的医学图像分割算法和医生手动标注难以满足临床应用的要求，卷积神经网络(CNN)相较于传统的图像处理算法避免了对图像复杂的前期预处理过程，尤其是人工参与图像预处理过程，卷积神经网络可以直接对原始图像进行特征学习，在医学图像分割领域得到了广泛的应用。
[0003]U
‑
Net网络在医学图像分割中具有里程碑的意义，具有跳跃连接的编码器
‑
解码器结构进行模型训练时仅需要少量的训练数据便可以获得很高的分割准确率。随后基于该网络衍生出不同的网络形式，例如U
‑
Net++和U
‑
Net3+等。这些网络使用跳跃连接融合来自不同尺度的特征图，但是由于编码器和解码器阶段的低级细节和高级语义并不能完全的兼容，简单的跳跃连接有时对于分割性能会产生负面的影响。在神经网络中一般模型的参数越多则模型表达能力越强，存储信息量越大，但是会导致信息过载，通过引入注意力机制可以利用有限的注意力资源从大量的信息中筛选出高价值的信息。目前主流的注意力机制有通道注意力、空间注意力和自注意力。虽然最初是为自然语言处理任务而设计的，但自注意力机制最近已经席卷了各种计算机视觉领域，分层Transformer，如Swin Transformer重新引入了几个ConvNet，使Transformer作为通用视觉骨干在各种视觉任务上表现出卓越的性能。目前大多数先进的医学图像分割模型都是基于Transformer，但是这种基于Transformer的架构往往具有很大的开销，并且要获得很好的性能需要更大的数据集进行训练。同时在医学图像分割上Transformer将图像展开成1D的序列，虽然很好地捕获了长距离依赖，但是却破坏了图像固有的2D结构。
[0004]轻量化模型的实现在于设计更高效的网络计算方式，在保持网络性能的同时减少网络的参数。SqueezeNet与传统的卷积方式不同，其主要的核心就是由squeeze和expand两层组成的Fire module模块，Squeeze层是一个1
×
1卷积核的卷积层，expand层是1
×
1和3
×
3卷积核的卷积层，expand层中，把1
×
1和3
×
3得到的特征图进行拼接。MobileNet提出深度可分离卷积代替传统的卷积，首先使用逐通道卷积，然后使用点卷积将特征图关联起来。ShuffeNet使用pointwise group convolution和channel shuffle两个新的操作，降低了计算的成本，同时提出了一种新颖的channel shuffle操作来帮助信息在特征通道之间流
动。但是这些方法在减少模型参数量的同时会损失一部分准确率，所以本专利技术在使用深度可分离卷积降低模型参数量的同时将融合通道注意力机制进行特征的提取，以便提高模型的准确率。

技术实现思路

[0005]本专利技术解决的技术问题是：针对目前已经提出的模型集中在关注模型性能的提升，忽略模型可训练参数的数量，提出一种轻量化的ECA
‑
Residual模块构建模型编码器，该模块在降低模型参数量的同时可以有效的进行特征的提取。针对编码器阶段和解码器阶段特征集不兼容的问题，提出一种空间注意力门控模块(Spatial Attention Gating Module)集成在跳跃连接，通过分析粗尺度门控信号来选择空间区域，网络自动进行学习如何突出有利于提高分割性能的特征，进一步促进特征的融合。
[0006]本专利技术的技术解决方案是：一种基于多注意力融合的医学图像分割模型构建方法，步骤如下：
[0007]步骤1，图像在输入模型训练前进行数据预处理，为了将构建的网络随机初始化在医学数据集上进行训练，所以对数据集进行在线数据增强；
[0008]步骤2，使用轻量化的ECA
‑
Residual模块构建模型编码器，该模块在降低模型参数量的同时可以有效的进行特征的提取；
[0009]步骤3，将提出的空间注意力门控模块集成在跳跃连接处，接收来自跳跃连接特征和解码器上采样的特征，计算注意力系数，通过注意力系数将跳跃连接特征进行缩放后输出与解码器进行拼接；
[0010]步骤4，使用级联上采样器(CUP)接收编码器和空间注意力门控模块的输出，通过多个上采样步骤解码隐藏特征，最终逐像素预测输出分割掩码。
[0011]进一步地，所述步骤1中数据预处理的具体方法如下：
[0012]迁移学习让我们可以将在源任务上学习到的知识很好地复用到目标任务上。基于迁移学习的思想，计算机视觉领域的研究者已在使用ImageNet等大规模有标注数据集来训练大型CNN模型，但是在大规模数据集上进行预训练导致模型结构灵活性差，难以改变网络结构，计算量也会增大。为了避免使用迁移学习在大规模数据集上进行预训练，将构建的网络随机初始化在医学数据集上进行训练，采用对数据集进行在线数据增强代替迁移学习，使用的数据集增强方式包括，上下水平镜像、高斯噪声、高斯模糊、改变对比度、尺寸缩放等。
[0013]进一步地，所述步骤2中使用轻量化的ECA
‑
Residual模块构建模型编码器的具体方法如下：
[0014]医学图像分割需要完成像素级别的分类，从而导致网络设计更加复杂，参数量和计算量也不断增加，在实际应用中在保证准确率的同时减少网络的参数量和计算量是必不可少的。
[0015]步骤2
‑
1，为了提高模型精度该结构首先使用两个3
×
3的深度可分离卷积，其中每个深度可分离卷积后面有一个批归一化(Batch Normalization)和一个非线性激活函数(ReLU)。深度可分离卷积的参数量和计算量是普通卷积的约三分之一，可以有效地减少网络的计算量和参数量。
[0016]步骤2
‑
2，本专利技术网络的编码器由ECA
‑
Residual模块分层构建而成，但是随着网络的不断加深可能导致梯度消失或梯度爆炸的问题，所以ECA
‑
Residual模块采用了残差学习中的层之间的快捷本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多注意力融合的医学图像分割模型构建方法，其特征在于，包括以下步骤：步骤1，图像在输入模型训练前进行数据预处理，为了将构建的网络随机初始化在医学数据集上进行训练，所以对数据集进行在线数据增强；步骤2，使用轻量化的ECA
‑
Residual模块构建模型编码器，该模块在降低模型参数量的同时可以有效的进行特征的提取；步骤3，将提出的空间注意力门控模块集成在跳跃连接处，接收来自跳跃连接特征和解码器上采样的特征，计算注意力系数，通过注意力系数将跳跃连接特征进行缩放后输出与解码器进行拼接；步骤4，使用级联上采样器(CUP)接收编码器和空间注意力门控模块的输出，通过多个上采样步骤解码隐藏特征，最终逐像素预测输出分割掩码。2.根据权利要求1所述的一种基于多注意力融合的医学图像分割模型构建方法，其特征在于，所述步骤1具体方法如下：迁移学习让我们可以将在源任务上学习到的知识很好地复用到目标任务上。基于迁移学习的思想，计算机视觉领域的研究者已在使用ImageNet等大规模有标注数据集来训练大型CNN模型，但是在大规模数据集上进行预训练导致模型结构灵活性差，难以改变网络结构，计算量也会增大。为了避免使用迁移学习在大规模数据集上进行预训练，将构建的网络随机初始化在医学数据集上进行训练，采用对数据集进行在线数据增强代替迁移学习，使用的数据集增强方式包括，上下水平镜像、高斯噪声、高斯模糊、改变对比度、尺寸缩放等。3.根据权利要求1所述的一种基于多注意力融合的医学图像分割模型构建方法，其特征在于，所述步骤2具体方法如下：步骤2
‑
1，为了提高模型精度该模块首先使用两个3
×
3的深度可分离卷积，其中每个深度可分离卷积后面有一个批归一化(Batch Normalization)和一个非线性激活函数(ReLU)。深度可分离卷积的参数量和计算量是普通卷积的约三分之一，可以有效地减少网络的计算量和参数量。步骤2
‑
2，图像分割网络的编码器由ECA
‑
Residual模块分层构建而成，但是随着网络的不断加深可能导致梯度消失或梯度爆炸的问题，所以ECA
‑
Residual模块采用了残差学习中的层之间的快捷连接来解决这个问题。步骤2
‑
3，在残差网络中加入了ECA通道注意力机制对每个通道进行重新加权，使网络对目标特征更加敏感。步骤2
‑
4，参数量和计算量的大小和每个卷积层输入通道数和输出通道数的大小相关，所以为了减少网络的参数量和计算量同时加强通道间的信息交互，在使用ECA
‑
Residual模块搭建网络编码器时，在每个ECA
‑
Residual模块中会将通道数缩小为目标输出通道的四分之一，最...

【专利技术属性】
技术研发人员：王莉莉，赵嘉宇，
申请(专利权)人：哈尔滨理工大学，
类型：发明
国别省市：