一种基于显著性图引导和不确定性语义增强的息肉分割方法技术

本发明专利技术公开了一种基于显著性图引导和不确定性语义增强的息肉分割方法。对待分割的医学图像，先通过主干编码子网络提取特征图和显著性图，将特征图通过二阶池化卷积注意力子网络，学习更高阶的特征表示以增强非线性建模能力，使用显著性图通过不确定性语义增强子网络引导特征图，即引导网络关注目标区域特征的学习，最后将显著性图经过上采样和激活函数得到医学图像最终预测分割结果。本发明专利技术试图通过对目标区域的显著性和不确定性计算，来引导网络关注目标区域特征的学习，同时对与边界信息高度相关的显著图进行不确定性区域增强，以进一步提升网络在多种复杂场景下的分割性能，增强网络的泛化能力和鲁棒性。网络的泛化能力和鲁棒性。网络的泛化能力和鲁棒性。

【技术实现步骤摘要】
一种基于显著性图引导和不确定性语义增强的息肉分割方法


[0001]本专利技术属于图像处理
，具体涉及一种基于显著性图引导和不确定性语义增强的息肉分割方法。

技术介绍

[0002]深度学习技术已被证明在医学图像分割的不同的基准数据集上是有效的。目前医学分割普遍存在的问题，即是充分整合CNN和Transformer的优点，提出分割模型。然而，这类端到端的方法基本都是从原始数据中提取隐藏信息并利用这些模型进行预测。因此，大多数基于深度学习的医学图像分割的研究都忽略了一个最重要的问题，即在学习过程中需要考虑模型预测的不确定性，特别是在医学图像分析中。预测模型的性能可能会受到输入数据和建模先验等不确定性的影响。如何有效地处理模型中的不确定性，并创建一个具有更好泛化能力的模型是一个值得深度探索的问题，特别是在像医疗诊断这样的安全关键应用中，因此，不确定性量化在深度学习中起着重要作用。
[0003]除了不确定性问题以外，回归到医学图像分割本身。针对于息肉分割这一常见问题，以往分割算法通常采用显著目标检测的方法，因为它们共享感兴趣区域，更多地关注息肉区域，而不是环绕场景。目前最先进的SOD方法显示出良好的性能，这与边缘引导高度相关。然而，获取额外的边缘数据通常是昂贵的。反向注意力建议使用反向显著图来获取边界线索，但由于边界区域与模糊显著性分数高度相关，未经反向操作的显著图已经具备了这样的边界信息。总而言之，如何有效提取医学图像中目标区域的显著特征，进而准确定位目标区域，实现目标区域的精准分割，仍然有待于进一步研究。由于不确定性对医学图像分割的影响，现有的方法尚未精确地分割出整个目标区域。在类内特征差异较大的情况下，仍有部分数据样本存在欠分割的情况；在类间特征差异较小或背景中存在较多干扰信息的情况下，还存在误分割的问题。

技术实现思路

[0004]本专利技术试图通过对目标区域的显著性和不确定性计算，来引导网络关注目标区域特征的学习，同时对与边界信息高度相关的显著图进行不确定性区域增强，以进一步提升网络在多种复杂场景下的分割性能，增强网络的泛化能力和鲁棒性。
[0005]为实现上述目的，本专利技术所采取的技术方案为：
[0006]一种基于显著性图引导和不确定性语义增强的息肉分割方法，包括以下步骤：
[0007]步骤S1、获取待分割的医学图像P；
[0008]步骤S2、将图像P输入到PVT(Pyramid Vision Transformer)主干编码子网络中，提取出三个特征图T1、T2、T3和一个显著性图s1；
[0009]步骤S3、将特征图T1、T2、T3分别输入到二阶池化卷积注意力子网络SPA中得到图像Y1、Y2、Y3；
[0010]步骤S4、显著性图s1通过不确定性语义增强子网络UAA引导特征图Y3得到u3，并通
过逐点相加引导u3得到显著性图s2；显著性图s2通过不确定性语义增强子网络引导特征图Y2得到u2，并通过逐点相加引导u2得到显著性图s3；显著性图s3通过不确定性语义增强子网络引导特征图Y1得到u1，并通过逐点相加引导u1得到显著性图s4；
[0011]步骤S5、将显著性图s4经过2倍双线性插值上采样和Sigmoid函数得到医学图像P的最终预测分割结果P0。
[0012]作为优选，步骤S3所述的二阶池化卷积注意力子网络模块，包括：
[0013]S31.令输入的特征图为
×
，其大小为H
×
W
×
C，其中H、W和C分别是特征图X的高度、宽度和通道数；
[0014]S32.将X通过Linear和Unfold两个线性层投影成大小为H
×
W
×
C的特征V，对于给定空间位置(i，j)，令表示以空间位置(i，j)为中心的大小为K
×
K
×
C的局部窗口内像素值的集合，可定义为：
[0015][0016]其中K表示正方形局部窗口的边长，p表示局部窗口内像素值相对空间位置(i，j)在横坐标上的偏移量，q表示局部窗口内像素值相对空间位置(i，j)在纵坐标上的偏移量，V
i+p，j+q
表示局部窗口内某一点的像素值；
[0017]S34.将X输入到二阶池化模块中，对X使用1
×
1卷积将通道数缩减到c；
[0018]S35.计算两两通道相关性，得到一个具备明确物理意义的协方差矩阵c
×
c，即第i行表示第i通道与所有通道间的统计相关性；
[0019]S36.将协方差矩阵进行逐行卷积，得到一个(K2×
K2)
×
1的权值向量，再通过线性投影成大小为H
×
W
×
K4的权值A，对于给定空间位置(i，j)，是大小为K2×
K2的局部窗口内的权值；
[0020]S37.将经过Softmax操作后与做多头自注意力操作得到局部窗口的深层特征特征定义为：
[0021][0022]S38.将经过加权平均密集聚合，得到大小为H
×
W
×
C的二阶池化卷积注意力子网络的深层特征输出其中对于给定空间位置(i，j)的深层特征输出可定义为：
[0023][0024]其中m表示给定空间位置(i，j)周围局部窗口内的深层特征相对该位置在横坐标上的偏移量，n表示给定空间位置(i，j)周围局部窗口内的深层特征相对该位置在纵坐标上的偏移量，Y
Δi+m，j+n
表示空间位置(i+m，j+n)上的深层特征。
[0025]作为优选，步骤S4所述的不确定性语义增强子网络，包括：
[0026]S41.令输入的显著性图为s，大小为上采样为H
×
W
×
1的显著性图S，令输入的特征图为x，其大小为H
×
W
×
C；
[0027]S42.对显著性图S计算前景图S
f
、背景图S
b
和不确定区域图S
u
的表征向量，计算公
式如下：
[0028]S
f
＝max(S
‑
0.5，0)，S
b
＝max(0.5
‑
S，0)，S
u
＝0.5
‑
|S
‑
0.5|；
[0029]S43.对大小为H
×
W
×
1的显著性图S
f
、S
b
和S
u
做通道连接并重塑为1
×
HW
×
3大小的特征图f0；
[0030]S44.将特征图x经过1
×
1卷积进行特征融合，并重塑为1
×
HW
×
C大小的特征图f1；
[0031]S45.将本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于显著性图引导和不确定性语义增强的息肉分割方法，其特征在于，包括以下步骤：步骤S1、获取待分割的医学图像P；步骤S2、将图像P输入到PVT主干编码子网络中，提取出三个特征图T1、T2、T3和一个显著性图s1；步骤S3、将特征图T1、T2、T3分别输入到二阶池化卷积注意力子网络SPA中得到图像Y1、Y2、Y3；步骤S4、显著性图s1通过不确定性语义增强子网络UAA引导特征图Y3得到u3，并通过逐点相加引导u3得到显著性图s2；显著性图s2通过不确定性语义增强子网络引导特征图Y2得到u2，并通过逐点相加引导u2得到显著性图s3；显著性图s3通过不确定性语义增强子网络引导特征图Y1得到u1，并通过逐点相加引导u1得到显著性图s4；步骤S5、将显著性图s4经过2倍双线性插值上采样和Sigmoid函数得到医学图像P的最终预测分割结果P0。2.如权利要求1的基于显著性图引导和不确定性语义增强的息肉分割方法，其特征在于：步骤S3中，二阶池化卷积注意力子网络SPA，包括：S31.令输入的特征图为X，其大小为H
×
W
×
C，其中H、W和C分别是特征图X的高度、宽度和通道数；S32.将X通过Linear和Unfold两个线性层投影成大小为H
×
W
×
C的特征V，对于给定空间位置(i,j)，令表示以空间位置(i,j)为中心的大小为K
×
K
×
C的局部窗口内像素值的集合，可定义为：其中K表示正方形局部窗口的边长，p表示局部窗口内像素值相对空间位置(i,j)在横坐标上的偏移量，q表示局部窗口内像素值相对空间位置(i,j)在纵坐标上的偏移量，V
i+p,j+q
表示局部窗口内某一点的像素值；S34.将X输入到二阶池化模块中，对X使用1
×
1卷积将通道数缩减到c；S35.计算两两通道相关性，得到一个具备明确物理意义的协方差矩阵c
×
c，即第i行表示第i通道与所有通道间的统计相关性；S36.将协方差矩阵进行逐行卷积，得到一个(K2×
K2)
×
1的权值向量，再通过线性投影成大小为H
×
W
×
K4的权值A，对于给定空间位置(i,j)，是大小为K2×
K2的局部窗口内的权值；S37.将经过Softmax操作后与做多头自注意力操作得到局部窗口的深层特征做多头自注意力操作得到局部窗口的深层特征定义为：S38.将经过加权平均密集聚合，得到大小为H
×
W
×
C的二阶池化卷积注意力子网络
的深层特征输出其中对于给定空间位置(i,j)的深层特征输出可定义为：其中m表示给定空间位置(i,j)周围局部窗口内的深层特征相对该位置在横坐标上的偏移量，n表示给定空间位置(i,j)周围局部窗口内的深层特征相对该位置在纵坐标上的偏移量，Y
Δi+m,j+n
表示空间位置(i+m,j+n)上的深层特征。3.如权利要求1的基于显著性图引导和不确定性语义增强的息肉分割方法，其特征在于：步骤S4中，所述的不确定性语义增强子网络，包括：S41.令输入的显著性图为s，大小为上采样为H
×
W
×
1的显著性图S，令输入的特征图为x,其大小为H
×
W
×
C；S4...

【专利技术属性】
技术研发人员：郑建炜，李燕，方创杰，刘豪，谷雨斌，
申请(专利权)人：浙江工业大学，
类型：发明
国别省市：