基于纹理感知和细粒度特征补偿的肠镜病灶检测方法技术

一种基于纹理感知和细粒度特征补偿的肠镜病灶检测方法，将获取的肠镜图像输入主干网络提取多级特征，从特征

【技术实现步骤摘要】
Awareness Module,TAM)
，该模块将底层丰富的纹理信息进行挖掘并利用高层语义信息进行背景抑制，从而捕获更纯净的纹理信息
。
其次，设计纹理增强模块
(Textural Feature Enhancement Module,TFEM)
，将来自
TAM
的底层纹理信息进行增强
。
最后，提出残差金字塔可拆分注意力模块
(The Residual Pyramid Splittable Attention Module,RPSA)
，平衡跳跃连接中的通道信息，提高整体网络的检测性能
。
[0016]总之，本专利技术通过挖掘细粒度纹理特征，并引入浅层纹理信息保留目标的细粒度特征，进行增强后与多级特征融合，同时引入金字塔可拆分注意力模块，一方面获取更多的特征信息，另一方面捕获通道之间的相互作用，从而大幅提高融合效果，并最终提高目标检测的精度，尤其适用于肠镜图像中的小目标息肉识别检测
。
[0017]在四个公开数据集上验证所提方法的有效性，实验结果表明，相较于主流的检测算法，
FGFCN
通过挖掘细粒度特征来提高模型的检测性能，检测精度优于现有方法，因此更具有临床应用价值
。
附图说明
[0018]图1为不同数据集数据分布图
。
[0019]图2为本专利技术一种基于纹理感知和细粒度特征补偿的肠镜病灶检测方法的总体框架图
。
[0020]图3为纹理感知模块
(TAM)
的结构图
。
[0021]图4为纹理增强模块
(TFEM)
的结构图
。
[0022]图5为残差金字塔可拆分模块
(RPSA)
的结构图
。
[0023]图6为
RPSA
中
SPC
模块的具体结构图
。
[0024]图7为
RPAS
中
SEweight
模块的具体结构图
。
[0025]图8为
Polysets
数据集上对比结果的可视化图
。
[0026]图9为
CVC
‑
ClinicDB
数据集上对比结果可视化图
。
[0027]图
10
为不同层特征可视化结果图
。
[0028]图中表示特征图的相加，
U
表示上采样，
C
表示通道相加，
S
表示
Sigmoid
激活函数，表示点乘操作
。
具体实施方式
[0029]为使本专利技术实施例的目的
、
技术方案和优点更加清楚，下面将结合本专利技术实施列中的附图，对本专利技术实施列中的技术方案进行清楚
、
完整地描述
。
[0030]参考表1，本专利技术的实施例采用四个数据集进行实验，分别为
Polysets、CVC
‑
ClinicDB、LDPoly
和
Kvasir
‑
Sessile。
[0031]Polysets
来自
Kaidong Li(Director of Otorhinolaryngology at Ospedale Policlinico San Martino,University of Genova)
的公开息肉数据集，其由来自多个中心
、
用于不同目的肠道息肉影像组成，数据集包含增生性息肉和腺瘤性息肉
。
本专利技术在该数据集中提取
28773
张息肉图片，其中
25623
张作为训练集，
3150
张息肉图片作为测试集，该数据集上单张图片存在至少1个息肉，息肉体积较小且前景背景相似度高
。
[0032]CVC
‑
ClinicDB
由结肠镜检查视频中提取的
612
张各种类型的息肉图像组成
。
[0033]LDPoly
由
100
个视频序列组成，各视频中图片帧相似度过高，为使得数据平衡，经过提取及后处理，最后筛选出
965
张不同角度的息肉图片
。
[0034]Kvasir
‑
Sessile
包含
198
张不同肠道不同角度的息肉图片
。
与
Polysets
不同之处在于
CVC
‑
ClinicDB、LDPoly
和
Kvasir
‑
Sessile
中单张图片中存在多个目标，且数据分布特点不一
。
为验证模型的稳定性
、
鲁棒性和泛化性，本专利技术在不同来源
、
不同分布特点的数据集上进行验证，数据集的具体信息如表1所示，四个数据集中数据分布特点如图1所示
。
[0035]表1数据集划分方式及详情信息
[0036][0037]采用上述数据集，对本专利技术基于纹理感知和细粒度特征补偿的肠镜病灶检测方法进行验证，参考图2，步骤包括：
[0038]步骤1：将肠镜图像输入主干网络提取多级特征
C
j
。
[0039]在本专利技术的实施例中，主干网络采用
Darknet53
主干网络，例如
CSPDarknet53
，对于给定的输入特征通过主干网络可从输入图像中生成不同尺度特征
C
j
。
其中
2≤j≤m
，在图2所示结构框架中，取
m
＝5，即
j
取值为
2、3、4、5。
上式中，
C
是通道数，
H
×
W
表示图像分辨率
。
[0040]步骤2：从特征
C2挖掘纹理特征，并与特征
C
m
中的语义特征整合，通过特征
C
m
对背景信息进行抑制，捕获细粒度纹理特征
。
[0041]本专利技术采用纹理感知模块
(Textural Awareness Module,TAM)
实现本步骤，纹理感知模块的结构参见图
3。
示例地，当取
m
＝5，纹理感知模块
(TAM)
从包含局部纹理细节的底层特征
C2中挖掘息肉目标的细粒度特征，由于从底层挖掘的纹理特征目标的局部纹理细节特征，但混合了干扰信息，
C5中则包含对象纹理监督下的全局信息，同时具有与对象相关的高级语义，基于此，本专利技术将...

【技术保护点】

【技术特征摘要】
1.
一种基于纹理感知和细粒度特征补偿的肠镜病灶检测方法，其特征在于，包括如下步骤：步骤1，将获取的肠镜图像输入主干网络提取多级特征
C
j
，
2≤j≤m
；步骤2，从特征
C2挖掘纹理特征，并与特征
C
m
中的语义特征整合，通过特征
C
m
对背景信息进行抑制，捕获细粒度纹理特征；步骤3，将所述细粒度纹理特征进行增强；步骤4，将特征
C3～
C
m
‑1分别卷积，之后分别与步骤3增强后的特征融合，得到
m
‑2个融合特征
P3～
P
m
‑1；步骤5，将特征
C
m
经注意力机制和空间金字塔池化得到特征
P
m
；步骤6，对步骤4和步骤5所得特征进行自上至下和自下至上的多尺度特征融合，并在其中至少一个融合过程中引入金字塔可拆分注意力模块，以平衡跳跃链接中的通道信息，捕获通道之间的相互作用；步骤7，基于多尺度融合结果，进行目标检测
。2.
根据权利要求1所述基于纹理感知和细粒度特征补偿的肠镜病灶检测方法，其特征在于，所述主干网络为
Darknet53
主干网络，取
m
＝
5。3.
根据权利要求1所述基于纹理感知和细粒度特征补偿的肠镜病灶检测方法，其特征在于，所述步骤2，首先使用两个1×1卷积层分别将
C2和
C
m
的通道更改为
256
和
1024
，然后对特征进行上采样，随后进行拼接运算，再通过两个3×3的卷积和一个1×1的卷积，最后进行
Sigmoid
函数运算
。4.
根据权利要求1所述基于纹理感知和细粒度特征补偿的肠镜病灶检测方法，其特征在于，所述步骤3，采用至少3个具有不同扩张率
d
的平行残余分支和一个主干分支，首先，每一个分支中第一个卷积层利用1×1卷积运算将通道大小减少到
32
；其次，自第2个残余分支起，第
i
个残余分支
b
i
进行
(2i
‑
1)
×
(2i
‑
1)
卷积操作和具有扩张率
(2i
‑
1)
的膨胀卷积操作；然后，将第1～3个残余分支分别通过3×3卷积运算将通道均转化为
C
；最后，将各残余分支得到的多尺度特征进行
Concat
拼接后再与主干分支进行融合，随后将融合后的结果输入到
ReLU
函数中，得到增强后的最终特征
f
k
'。5.
根据权利要求4所述基于纹理感知和细粒度特征补偿的肠镜病灶检测方法，其特征在于，所述残余分支的数量为4，所述
(2i
‑
1)
×
(2i
‑
1)
卷积操作分解为两个步骤的序列，即
(2i
‑
1)
×1和1×
(2i
‑
1)
内核，其中：第一个残余分支
b1，对细粒度纹理特征进行1×1卷积，将输入的特征通道大小减小到
C
，获得
b1；第二个残余分支
b2，对细粒度纹理特征依次进行1×1卷积
、1
×3卷积
、3
×1卷积，最后用扩张率为3的膨胀卷积对特征进行多尺度处理，随后进行3×3卷积运算将通道大小减小到
C
，获得小尺度上的上下文信息
...

【专利技术属性】
技术研发人员：潘晓英，穆亚亚，王昊，
申请(专利权)人：西安邮电大学，
类型：发明
国别省市：