一种融合通道和空间注意力的卷积神经网络息肉分割方法技术

本发明专利技术公开了一种融合通道和空间注意力的卷积神经网络息肉分割方法，包括：数据预处理，用于对息肉图像的分辨率进行调整以及数据增强；编码器阶段，使用残差模块对息肉图像进行多尺度特征提取；瓶颈层阶段，利用改进的挤压激励模块，增强对息肉图像高级特征的提取；解码器阶段，使用通道和空间组合注意力模块，提高分割精度；同时对于瓶颈层和解码器的输出使用跨层融合；并在上采样过程中使用深监督技术，减轻在训练时的梯度消失或爆炸现象，加速模型的收敛。本发明专利技术解决了息肉与周围组织边界模糊不清以及小的息肉区域难以分割的问题，同时深监督机制的引入优化了网络模型的梯度，加快了网络模型的收敛，缩短了网络模型的训练时间。间。间。

【技术实现步骤摘要】
一种融合通道和空间注意力的卷积神经网络息肉分割方法


[0001]本专利技术涉及医学图像分割和人工智能
，具体涉及一种融合通道和空间注意力的卷积神经网络息肉分割方法。

技术介绍

[0002]结直肠癌(CRC)是临床医学中最常见的诊断癌症之一，而结肠息肉往往是病变的最初表现形式。早期的息肉大多为良性，但如果不能够得到及时的治疗，随着时间的推移，部分结肠息肉会发展为结肠癌。息肉分割是对结肠镜采集的视频或者图像进行分割，辅助医生进行诊断和病理分析，以达到提高诊断效率和减少误诊率的作用，在结直肠癌的筛查和诊疗过程中扮演者不可或缺的角色。但由于息肉的形态差异大、边界模糊，使得息肉很难被精确的分割，导致漏检、误检的情况时有发生。由此可见，精确的息肉分割是一项具有挑战性的医学图像分析任务，对临床预防结直肠癌有着重要的意义。
[0003]传统的息肉分割方法主要基于颜色，纹理，形状等浅层特征或者通过组合这些特征来进行处理。这类方法不仅费时费力，分割效果往往较差，难以真正应用于临床实践。自全卷积网络(FCN)被Long提出以来，神经网络在图像分割领域取得了巨大的成功。FCN是首个用于语义分割的网络模型，将卷积神经网络开创性地引入到了语义分割领域，并且在图像分割中取得了不错的结果。Akbari等将改进的FCN应用到息肉分割中，相较于FCN提高了分割的准确性。进一步地，U
‑
Net在FCN的基础上，使用对称的编码器
‑
解码器结构，在医学分割领域取得了不错的成绩。在U
‑
Net的基础上，发展了很多改进算法，并且都在医学图像分割领域取得了良好的效果。UNet++通过将不同深度的U
‑
Net嵌入到同一个网络中，增强了编码器特征与解码器的特征之间的语义匹配程度，并且使用深监督策略对网络进行剪枝，提高了推理的速度。Double U
‑
Net使用两个U
‑
Net网络进行图像分割，利用迁移学习从第一个U
‑
Net中学习特征然后逐级传递到第二个U
‑
Net中，并利用第二个U
‑
Net捕获更多的语义信息。ResUNet++在U
‑
Net的基础上将残差单元、空间金字塔和SE引入到网络之中，提高了对语义的准确预测。这些U
‑
Net变体尽管取得了不错的分割效果，但都十分依赖内存，需要较高的内存才能使用。

技术实现思路

[0004]专利技术目的：本专利技术的目的在于解决U
‑
Net网络层数不够深，训练时容易出现过拟合，而且对前景像素的敏感度不足，难以获得足够的全局信息和局部语义信息的问题，提出一种融合通道和空间注意力的卷积神经网络息肉分割方法，即CSCA U
‑
Net。
[0005]技术方案：一种融合通道和空间注意力的卷积神经网络息肉分割方法，包括以下步骤：
[0006](1)准备数据集，分为训练和测试数据集；
[0007](2)利用残差模块(Residual Block,RB)作为编码器提取图像的特征；
[0008](3)利用双重挤压激励模块(Double Squeeze and Excited,DSE)增强瓶颈层对高
级特征的提取能力；
[0009](4)在解码器使用通道和空间组合的注意力模块(Channel and Space Compound,CSCA)，从通道和空间两个层面上关注关键区域，从提取到的特征选择最相关的特征，抑制不相关的特征，提高分割精度；此外使用跨层融合(Cross
‑
Layer Fusion)的方式，捕获上下文信息，细化分割的边界，通过解码器，最终生成全局预测图Sg；
[0010]所述通道和空间组合的注意力模块，通过并联和嵌套两种方式将通道注意力和空间注意力融合使用；整个模块分为a,b,c三路，在通路a中，首先将输入的特征通过一个双重挤压激励模块模块进行特征增强，生成特征图M
c
，然后将M
c
进行两次3
×
3的卷积实现非线性变换，再次使用双重挤压激励模块模块进行特征增强，得到权重矩阵M
v
；在通路b中，特征图进行一次1
×
1的卷积操作，其通道数降为原来的一半，然后再进行批归一化和一个1
×
1的卷积操作，通道数降为1，最后由Sigmoid函数得到空间权重M
q
；在通路c中，特征图经过两次3
×
3的卷积操作后，通道数减半，然后再经过一个双重挤压激励模块模块处理，生成特征图M
k
，通过点乘的方式，将通路b中得到的特征权重M
q
与通路c中得到的特征图M
k
相乘，为M
k
的每个通道中各个像素分配权重，生成特征图M
s
，再利用矩阵乘法，将M
s
与通路a中得到的特征图M
v
结合起来，生成新的特征M
att
，然后，选用M
att
作为权重矩阵，通过点乘的方式与M
c
相乘，得到M
r
，最后通过特征融合的方式，将M
c
与M
r
结合起来，形成该层的分割结果M
final
，用公式可以表示为：
[0011]M
final
＝concat(M
r
,M
c
)
ꢀꢀꢀꢀꢀꢀ
(1)
[0012]其中，M
c
和M
r
分别表示为：
[0013]M
c
＝d(x)
ꢀꢀꢀꢀ
(2)
[0014]M
r
＝M
c
·
M
att
ꢀꢀꢀ
(3)
[0015]M
att
又可以表示为：
[0016]M
att
＝(M
q
·
M
k
)
×
M
v
ꢀꢀ
(4)
[0017]其中M表示特征图，concat(
·
,
·
)表示连接操作，d(
·
)表示DSE操作，
·
表示矩阵内积，
×
表示矩阵外积；
[0018](5)在瓶颈层和解码器部分，通过深监督对网络输出进行监督，在每层生成预测结果S2～S6；
[0019](6)进行网络模型训练。
[0020]所述步骤(1)具体为，准备数据集Kvasir
‑
SEG和CVC
‑
ClinicDB，并且按照9:1的比例将Kvasir
‑
SEG和CVC...

【技术保护点】

【技术特征摘要】
1.一种融合通道和空间注意力的卷积神经网络息肉分割方法，其特征在于，包括以下步骤：(1)准备数据集，分为训练和测试数据集；(2)利用残差模块作为编码器提取图像的特征；(3)利用双重挤压激励模块增强瓶颈层对高级特征的提取能力；(4)在解码器使用通道和空间组合的注意力模块，从通道和空间两个层面上关注关键区域，从提取到的特征选择最相关的特征，抑制不相关的特征，提高分割精度；此外使用跨层融合的方式，捕获上下文信息，细化分割的边界，通过解码器，最终生成全局预测图Sg；所述通道和空间组合的注意力模块，通过并联和嵌套两种方式将通道注意力和空间注意力融合使用；整个模块分为a,b,c三路，在通路a中，首先将输入的特征通过一个双重挤压激励模块模块进行特征增强，生成特征图M
c
，然后将M
c
进行两次3
×
3的卷积实现非线性变换，再次使用双重挤压激励模块模块进行特征增强，得到权重矩阵M
v
；在通路b中，特征图进行一次1
×
1的卷积操作，其通道数降为原来的一半，然后再进行批归一化和一个1
×
1的卷积操作，通道数降为1，最后由Sigmoid函数得到空间权重M
q
；在通路c中，特征图经过两次3
×
3的卷积操作后，通道数减半，然后再经过一个双重挤压激励模块模块处理，生成特征图M
k
，通过点乘的方式，将通路b中得到的特征权重M
q
与通路c中得到的特征图M
k
相乘，为M
k
的每个通道中各个像素分配权重，生成特征图M
s
，再利用矩阵乘法，将M
s
与通路a中得到的特征图M
v
结合起来，生成新的特征M
att
，然后，选用M
att
作为权重矩阵，通过点乘的方式与M
c
相乘，得到M
r
，最后通过特征融合的方式，将M
c
与M
r
结合起来，形成该层的分割结果M
final
，用公式可以表示为：M
final
＝concat(M
r
,M
c
)
ꢀꢀꢀꢀꢀꢀ
(1)其中，M
c
和M
r
分别表示为：M
c
＝d(x)
ꢀꢀꢀꢀ
(2)M
r
＝M
c
·
M
att
ꢀꢀꢀꢀ
(3)M
att
又可以表示为：M
att
＝(M
q
·
M
k
)
×
M
v
ꢀꢀꢀꢀ
(4)其中M表示特征图，concat(
·
,
·
)表示连接操作，d(

【专利技术属性】
技术研发人员：束鑫，王佳树，顾迎燕，徐丹，史金龙，高尚，
申请(专利权)人：江苏科技大学，
类型：发明
国别省市：