本发明专利技术公开了一种基于无锚框的大肠内窥镜息肉检测与病理分类方法，包括如下步骤：将彩色内镜图像进行预处理；对预处理后的彩色内镜图像进行特征提取；对提取的特征进行增强并向上扩展得到更深层的扩展特征；将增强特征和扩展特征的特征信息通过无锚框检测算法解码为息肉预测框以及前景预测掩码；分别从扩展特征和前景预测掩码处提取全局和局部特征向量，将全局特征向量与局部特征向量结合，通过全连接层预测息肉种类，本发明专利技术对提取的特征进行增强，并向上扩展获得更深层的扩展特征，通过无锚框检测算法对特征图进行位置解码获得息肉预测框和前景预测掩码；将前景预测掩码与对应的特征图叠加，得到局部特征图，并结合全局与局部信息预测息肉类别。局部信息预测息肉类别。局部信息预测息肉类别。
【技术实现步骤摘要】
一种基于无锚框的大肠内窥镜息肉检测与病理分类方法
[0001]本专利技术属于息肉检测技术的
，尤其涉及一种基于无锚框的大肠内窥镜息肉检测与病理分类方法。
技术介绍
[0002]在全球，结直肠癌都是第三大常见癌症，也是导致死亡的主要癌症之一。参照《中国消化内镜活检与病理学检查规范专家共识（草案）》，对照Morson组织学分类法：将CRP分为腺瘤性息肉(管状腺瘤、绒毛状腺瘤、混合性腺瘤), 非腺瘤性息肉(炎性息肉、增生性息肉) 。其中腺瘤性最为常见也最危险。虽然只有很小一部分的腺瘤性息肉会发展成为癌症，但几乎所有的恶性息肉都由腺瘤性息肉发展而来。因此，肠息肉的检测与病理分类预测在结肠癌的预防与早筛过程中起到了至关重要的作用。
[0003]早期的大肠息肉检测与病理分类方法主要是基于手工选取的图形特征，例如形状，颜色，线条，轮廓等，由于不同种类的息肉特征接近，同时息肉和周围的正常组织也有着很相似的特征，而传统的基于手工选择图形特征的方法只能学习有限的特定特征，因此这种方法无法取得令人满意的结果。随着神经网络与深度学习的快速发展，基于卷积神经网络（convolutional neural networks: CNN）的方法被广泛应用于图像识别领域，包括医疗图像识别。近几年，该方法在大肠息肉识别与分割领域也已经得到了一定的应用。
[0004]但是目前的大肠息肉识识别方法都只能完成息肉检测的功能而不能同时做到息肉的病理分类。
技术实现思路
[0005]本专利技术目的是为了克服现有技术的不足而提供一种基于无锚框的大肠内窥镜息肉检测与病理分类方法，该方法结合无锚框检测算法和图像分类算法，从而提高息肉检出率与病理分类的准确率。
[0006]为达到上述目的，本专利技术采用的技术方案是：一种基于无锚框的大肠内窥镜息肉检测与病理分类方法，包括如下步骤：将彩色内镜图像进行预处理；对预处理后的彩色内镜图像进行特征提取；引入特征金字塔模型对提取的特征进行增强并向上扩展得到更深层的扩展特征；将增强特征和扩展特征的特征信息通过无锚框检测算法解码为息肉预测框以及前景预测掩码；从扩展特征处提取全局特征向量，从前景预测掩码处提取局部特征向量，将全局特征向量与局部特征向量结合，通过全连接层预测息肉种类。
[0007]进一步的，将彩色内镜图像进行预处理的步骤如下：将彩色内镜图像缩放至512x512的图片分辨率，之后对彩色内镜图像进行像素均值归一化，使得数据的每一个维度具有零均值和单位方差。
[0008]进一步的，对预处理后的彩色内镜图像进行特征提取的步骤如下：使用基于ImageNet 预训练的ResNeXt101作为骨干网络；ResNeXt101以最大池化为界限分成 5个不同阶段：R1, R2, R3, R4, R5;随着骨干网络加深每次池化后特征图大小缩小一半，信道数目增加一倍；提取R2至R5四个阶段的网络输出C2至C5作为提取的特征图。
[0009]进一步的，引入特征金字塔模型对提取的特征进行增强并向上扩展得到更深层的扩展特征的步骤如下：使用特征金字塔结构的从上至下方法来增强浅层特征层的语义信息，得到具有深层信息的浅层特征图P2, P3, P4, P5；同时将特征金字塔结构向上扩展一层以得到更深层的语义信息特征图P6。
[0010]进一步的，对增强特征和扩展特征的特征信息通过无锚框检测算法解码为息肉预测框以及前景预测掩码的步骤如下:S100：训练阶段对于不同特征层的特征点按照目标息肉的大小给予不同的标签并分配到不同尺度的特征层作为实际标签，实际标签的物体框信息将用于回归函数计算候选框位置；S101：增强特征和扩展特征通过无锚框检测算法得到用于位置预测的HxWx4的张量、HxWx1维的前景预测掩码以及用于衡量当前像素偏移真实目标的中心点程度的HxWx1张量的Center
‑
ness；S102：对HxWx4的输出张量进行位置信息解码，对于特征图上的特征点x，y 其输出预测为；其中，分别为特征点x，y到预测框左右上下边框的距离；经解码得到预测物体位置为，为物体预测框左上角坐标，w,h 为物体预测框的宽高；S103：对Center
‑
ness输出的HxWx1张量上的每个特征点所对应的位置信息回归值计算距离热力值，来辅助特征点对于当前位置的息肉目标判定，具体公式为：其中：min(x, y) 取x,y中最小值，同理max (x, y) 取x,y中最大值;生成的距离热力图在训练阶段与Center
‑
ness输出的HxWx1张量，利用二分类交叉熵函数为损失函数计算损失值;当特征点越接近预测框中心，损失函数值越小，反之越大。
[0011]进一步的，从扩展特征处提取全局特征向量的步骤如下:对特征金字塔的扩展特征向量采用平均池化操作，得到256x1维的全局特征向量，扩展特征度具有stride=128的步幅。
[0012]进一步的，从前景预测掩码处提取局部特征向量的步骤如下：S200：引入前景注意力机制,将前景预测掩码与对应的特征金字塔特征图经过卷积后的输出进行叠加，之后特征图对应于前景掩码中的前景部分保留，而背景部分将被忽略，从而得到局部特征图；其中，；M为特征金字塔输出的特征图，a为前景掩码，*为矩阵元素积，为局部特征图。
[0013]S201：对所有的局部特征图应用全局平均池化操作，得到256x1维的局部特征向量。
[0014]进一步的，将局部特征向量与全局特征向量结合，通过全连接层预测息肉种类的步骤如下：对于5个256x1维的局部特征向量，我们对其进行合并生成1280x1维的局部特征向量，再经过1x1x256的卷积层降维得到256维的局部特征向量,再将局部特征向量与全局特征向量合并为512x1维的特征向量，最后经过全连接层预测息肉分类。
[0015]进一步的，将S102中的预测物体位置应用非极大值抑制操作，去除过多的重叠预测框。
[0016]由于上述技术方案的运用，本专利技术与现有技术相比具有下列优点：本专利技术方案的基于无锚框的大肠内窥镜息肉检测与病理分类方法，其利用特征金字塔模型对提取的特征进行增强，并向上扩展获得更深层的扩展特征，然后通过无锚框检测算法对特征图进行位置解码获得息肉预测框以及前景预测掩码；最后引入前景注意力机制，将前景预测掩码与对应层的特征图叠加，得到具有局部特征信息的特征图，并结合全局与局部信息，更好地预测息肉类别，提高息肉检出率与病理分类的准确率。
附图说明
[0017]下面结合附图对本专利技术技术方案作进一步说明：附图1为本专利技术一实施例中基于无锚框的大肠内窥镜息肉检测与病理分类方法的流程图；附图2为本专利技术一实施例中基于无锚框的大肠内窥镜息肉检测与病理分类方法的检测过程图；附图3为本专利技术一实施例中病理分类为腺瘤息肉的息肉检测结果图；附图4为本专利技术一实施例中病理分类为非腺瘤息肉的息肉检测结果图。
具体实施方式
[0018]下面结合附图及具体实施例对本专利技术作进一步的详细说明。应当理解，此处所描述的具体本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种基于无锚框的大肠内窥镜息肉检测与病理分类方法，其特征在于，包括如下步骤：将彩色内镜图像进行预处理；对预处理后的彩色内镜图像进行特征提取；引入特征金字塔模型对提取的特征进行增强并向上扩展得到更深层的扩展特征；将增强特征和扩展特征的特征信息通过无锚框检测算法解码为息肉预测框以及前景预测掩码；从扩展特征处提取全局特征向量，从前景预测掩码处提取局部特征向量，将全局特征向量与局部特征向量结合，通过全连接层预测息肉种类。2.如权利要求1所述的基于无锚框的大肠内窥镜息肉检测与病理分类方法，其特征在于，将彩色内镜图像进行预处理的步骤如下：将彩色内镜图像缩放至512x512的图片分辨率，之后对彩色内镜图像进行像素均值归一化，使得数据的每一个维度具有零均值和单位方差。3.如权利要求1所述的基于无锚框的大肠内窥镜息肉检测与病理分类方法，其特征在于，对预处理后的彩色内镜图像进行特征提取的步骤如下：使用基于ImageNet 预训练的ResNeXt101作为骨干网络；ResNeXt101以最大池化为界限分成 5个不同阶段：R1, R2, R3, R4, R5;随着骨干网络加深每次池化后特征图大小缩小一半，信道数目增加一倍；提取R2至R5四个阶段的网络输出C2至C5作为提取的特征图。4.如权利要求1所述的基于无锚框的大肠内窥镜息肉检测与病理分类方法,其特征在于，引入特征金字塔模型对提取的特征进行增强并向上扩展得到更深层的扩展特征的步骤如下：使用特征金字塔结构的从上至下方法来增强浅层特征层的语义信息，得到具有深层信息的浅层特征图P2, P3, P4, P5；同时将特征金字塔结构向上扩展一层以得到更深层的语义信息特征图P6。5.如权利要求3所述的基于无锚框的大肠内窥镜息肉检测与病理分类方法,其特征在于,对增强特征和扩展特征的特征信息通过无锚框检测算法解码为息肉预测框以及前景预测掩码的步骤如下:S100：训练阶段对于不同特征层的特征点按照目标息肉的大小给予不同的标签并分配到不同尺度的特征层作为实际标签，实际标签的物体框信息将用于回归函数计算候选框位置；S101：增强特征和扩展特征通过无锚框检测算法得到用于位置预测的HxWx4的张量、HxWx1维的前景预测掩码以及用于衡量当前像素偏移真实目标的中心点程度的HxWx1张量的Center
‑
...
【专利技术属性】
技术研发人员：曹鱼，孙辛子，刘本渊，
申请(专利权)人：苏州慧维智能医疗科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。