基于轻量化网络模型和反向注意力模块的息肉分割方法技术

本发明专利技术提供一种基于轻量化网络模型和反向注意力模块的息肉分割方法，包括通过去掉轻量化网络模型MobileNetV3的最后分类网络部分并用协调注意力模块代替SENet模块改进MobileNetV3，得到轻量化网络分割模型CaNet作为主干网络；将主干网络输出的高级特征并联传入并联轴向感受野模块内，在不丢失细节信息的同时提取到全局依赖关系和局部表示；将并联轴向感受野模块并联输出的特征图经过不同倍数上采样至统一大小，通过逐点相乘进行聚合及双线性插值，初步得到一个全局映射图；利用反向注意力模块通过高级输出特征中擦除现有已估计的息肉区域，从而顺序地挖掘互补区域和细节，得到更加精细化的息肉分割结果，提高了分割精度。本发明专利技术对于息肉图像数据集分割更加轻量高效化。量高效化。量高效化。

【技术实现步骤摘要】
基于轻量化网络模型和反向注意力模块的息肉分割方法


[0001]本专利技术涉及息肉分割
，具体涉及一种基于轻量化网络模型和反向注意力模块的息肉分割方法。

技术介绍

[0002]研究报告数据显示结直肠癌是发病率最高的几大癌症之一，也是死亡率最高的癌症之一。当疾病发展到晚期时，结肠癌的5年生存率远远低于早期检出，最低只有10％，在早期诊断的病例中，如果早期检出治疗成功其5年生存率就会提高到90％以上。因此，通过筛查和切除癌前病变来预防结直肠癌至关重要。在实际切除息肉手术时，需要大量的依赖医师对于息肉部位的观察与分析，如何快速准确的定位出息肉的位置，将不同息肉的尺寸进行测量等操作，均取决于息肉的准确定位与分割。因此，在临床上精确的息肉分割是非常重要且急需的。
[0003]近年来，在传统息肉分割方法中，早期基于学习的方法依赖于人工提取的特征，如颜色、纹理、形状、外观以及这些特征的组合。2015年Bernal等提出一种基于纹理检测息肉的方法，其使用窗谷堆积中值深度能量图来获得与息肉相关的连续边界，进而定位息肉区域。2018年Sasmal等基于息肉的形状，采用主成分追踪的方法对图像进行低秩稀疏分解，然后通过Chan
‑
Vese算法对息肉图像进行分割。这类方法无法同时将息肉区域包含的所有特征进行有效结合，只是单一地考虑部分特征，导致分割结果存在一定的局限性。
[0004]相比传统息肉分割方法，深度卷积神经网络在医学影像分割中的表现有着更加突出的优势。大部分深度学习方法侧重于对息肉的整个区域进行分割，但忽略了区域边界约束，而精准的边界信息对提高分割性能至关重要。针对以上问题，2019年，Murugesan等在息肉分割中同时利用区域和边界信息，但并没有完全捕捉到区域和边界之间的关系。此外，Fang等还提出了一种同时具有区域和边界约束的三步选择性特征聚集网络用来分割息肉，该方法显式地考虑了区域和边界之间的依赖性，并通过附加的边缘监督获得了良好的结果，但其计算效率较低，并有过拟合的风险。2020年，Fan等提出了一种基于并行局部高级特征解码方案，利用反向注意力机制来更好的寻找目标区域特征和边界细节，并且增加一个感受野模块来获得更多可视化信息，但是它为提高效率舍弃低级特征从而损失了部分语义信息，模型参数量大，计算复杂度高。
[0005]针对以上方法存在的一些问题，如何创新性地设计一种高效而精准的息肉分割方法显得尤为重要。

技术实现思路

[0006]针对现有息肉分割方法中存在模型参数量大，计算复杂度高，息肉分割精度低的技术问题，本专利技术提供一种基于轻量化网络模型和反向注意力模块的息肉分割方法。
[0007]为了解决上述技术问题，本专利技术采用了如下的技术方案：
[0008]一种基于轻量化网络模型和反向注意力模块的息肉分割方法，包括以下步骤：
[0009]S1、利用协调注意力模块改进轻量化网络模型MobileNetV3，具体为通过去掉轻量化网络模型MobileNetV3的最后分类网络部分并用协调注意力模块代替SENet模块，得到轻量化网络分割模型CaNet作为主干网络；
[0010]S2、将主干网络输出的高级特征并联传入并联轴向感受野模块内，在不同尺度下进行额外的全局细化并连接输出，在不丢失细节信息的同时提取到全局依赖关系和局部表示；
[0011]S3、将并联轴向感受野模块并联输出的特征图经过不同倍数上采样至统一大小，通过逐点相乘进行聚合，再经过双线性插值，初步得到一个具有无结构化的全局映射图，用以提供息肉的粗略定位信息；
[0012]S4、将全局映射图及并联轴向感受野模块并联输出的高级侧特征送入多个以级联方式构建的反向注意力模块内，反向注意力模块通过高级输出特征中擦除现有已估计的息肉区域，从而顺序地挖掘互补区域和细节，得到更加精细化的息肉分割结果，最末尾一个反向注意力模块的输出被送入Sigmoid激活函数中，用以生成最终的息肉分割区域的预测图。
[0013]进一步，所述步骤S1中协调注意力模块先使用尺寸(H,1)和(1,W)的池化核沿着水平坐标方向和竖直坐标方向对每个通道输入特征图进行编码，之后这两个变换沿着两个空间方向进行特征聚合，返回一对方向感知注意力图，每个方向感知注意力图都捕获了输入特征图沿着一个空间方向的长程依赖，并保存着另一个空间方向的精确位置信息，接着进行正则化和非线性函数后再将特征图进行卷积和Sigmoid函数，最后输出注意力权重。
[0014]进一步，所述步骤S2中主干网络输出的高级特征并联传入三个并联轴向感受野模块内，每个并联轴向感受野模块先分别用1
×
3和3
×
1卷积层代替3
×
3卷积层，用1
×
5和5
×
1卷积层代替5
×
5卷积层，用1
×
7和7
×
1卷积层代替7
×
7卷积层，接着分别通过空洞率为3、5、7的空洞卷积模块，并行添加并联轴向注意力模块对每个尺度进行额外的全局细化并连接输出，最后与1
×
1卷积层进行聚合相加再经过3
×
3的卷积层和1
×
1的卷积层，输出特征图。
[0015]进一步，所述并联轴向注意力模块通过采用轴向注意策略，使用输入特征映射计算采用并联放置方式的水平轴和垂直轴的非局部操作，具体分别在水平轴和垂直轴的轴向中，先经过两个1
×
1的卷积之后矩阵相乘变换，再和一个1
×
1卷积进行矩阵相乘变换，最后将两个轴向的输出进行逐点相加，输出特征图。
[0016]进一步，所述步骤S4中具体以级联方式构建的有三个反向注意力模块，将下采样后的全局映射图及第一并联轴向感受野模块输出的高级侧特征送入第一反向注意力模块内来获得第一反向注意力特征，第一反向注意力特征和下采样后的全局映射图相加后的输出一方面与第二并联轴向感受野模块输出的高级侧特征送入第二反向注意力模块内来获得第二反向注意力特征，另一方面经过上采样后与第二反向注意力特征相加，该相加后的输出一方面与第三并联轴向感受野模块输出的高级侧特征送入第三反向注意力模块内来获得第三反向注意力特征，另一方面经过上采样后与第三反向注意力特征相加，该相加后的输出被送入Sigmoid激活函数中，用以生成最终的息肉分割区域的预测图。
[0017]进一步，每个反向注意力模块通过将对应并联轴向感受野模块输出的高级侧特征f
i
与特征图S
i
经过Sigmoid激活函数和反转后得到的反向注意力权重A
i
相乘，来获得输出的反向注意力特征R
i
，具体描述如下：
[0018]R
i
＝f
i
⊙
A
i
[0019]其中，i＝3,4,5，
⊙
表示乘，反向注意力权重A
i
被描述为本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于轻量化网络模型和反向注意力模块的息肉分割方法，其特征在于，包括以下步骤：S1、利用协调注意力模块改进轻量化网络模型MobileNetV3，具体为通过去掉轻量化网络模型MobileNetV3的最后分类网络部分并用协调注意力模块代替SENet模块，得到轻量化网络分割模型CaNet作为主干网络；S2、将主干网络输出的高级特征并联传入并联轴向感受野模块内，在不同尺度下进行额外的全局细化并连接输出，在不丢失细节信息的同时提取到全局依赖关系和局部表示；S3、将并联轴向感受野模块并联输出的特征图经过不同倍数上采样至统一大小，通过逐点相乘进行聚合，再经过双线性插值，初步得到一个具有无结构化的全局映射图，用以提供息肉的粗略定位信息；S4、将全局映射图及并联轴向感受野模块并联输出的高级侧特征送入多个以级联方式构建的反向注意力模块内，反向注意力模块通过高级输出特征中擦除现有已估计的息肉区域，从而顺序地挖掘互补区域和细节，得到更加精细化的息肉分割结果，最末尾一个反向注意力模块的输出被送入Sigmoid激活函数中，用以生成最终的息肉分割区域的预测图。2.根据权利要求1所述的基于轻量化网络模型和反向注意力模块的息肉分割方法，其特征在于，所述步骤S1中协调注意力模块先使用尺寸(H,1)和(1,W)的池化核沿着水平坐标方向和竖直坐标方向对每个通道输入特征图进行编码，之后这两个变换沿着两个空间方向进行特征聚合，返回一对方向感知注意力图，每个方向感知注意力图都捕获了输入特征图沿着一个空间方向的长程依赖，并保存着另一个空间方向的精确位置信息，接着进行正则化和非线性函数后再将特征图进行卷积和Sigmoid函数，最后输出注意力权重。3.根据权利要求1所述的基于轻量化网络模型和反向注意力模块的息肉分割方法，其特征在于，所述步骤S2中主干网络输出的高级特征并联传入三个并联轴向感受野模块内，每个并联轴向感受野模块先分别用1
×
3和3
×
1卷积层代替3
×
3卷积层，用1
×
5和5
×
1卷积层代替5
×
5卷积层，用1
×
7和7
×
1卷积层代替7
×
7卷积层，接着分别通过空洞率为3、5、7的空洞卷积模块，并行添加并联轴向注意力模块对每个尺度进行额外的全局细化并连接输出，最后与1
×
1卷积层进行聚合相加再经过3
×
3的卷积层和1
×
1的卷积层，输出特征图。4.根据权利要求3所述的基于轻量化网络模型和反向注意力模块的息肉分割方法，其特征在于，所述并联轴向注意力模块通过采用轴向注意策略，使用输入特征映射计算采用并联放置方式的水平轴和垂直轴的非局部操作，具体分别在水平轴和垂直轴的轴向中，先经过两个1
×
1的卷积之后矩阵相乘变换，再和一个1
×
1卷积进行矩阵相乘变换，最后将两个轴向的输出进行逐点相加，输出特征图。5.根据权利要求3所述的基于轻量化网络模型和反向注意力模块的息肉分割方法，其特征在于，所述步骤S4中具体以级联方式构建的有三个反向注意力模块，将下采样后的全局映射图及第一并联轴向感受野模块输出的高级侧特征送入第一反向注意...

【专利技术属性】
技术研发人员：龙建武，宋鑫磊，曾子秦，刘东，
申请(专利权)人：重庆理工大学，
类型：发明
国别省市：