一种基于空洞卷积的编码器和解码器的大肠息肉检测方法技术

本发明专利技术涉及一种基于空洞卷积的编码器和解码器的大肠息肉检测方法，包括如下步骤：S1构建基于空洞卷积的编码器和解码器的模型后进行训练并固定；S2获取单帧内镜图像；S3将单帧内镜图像输入到S1模型中的编码器后获取特征图；S4将特征图输入到S1模型中的解码器后获取息肉分割预测图像；S5利用后处理模块对息肉分割预测图像进行处理，其中，后处理模块包括：边界平滑处理和小连通域过滤；本发明专利技术的基于空洞卷积的编码器和解码器的大肠息肉检测方法，最后测出的息肉分割预测图像的准确率和召回率超过95%，符合大肠内窥镜息肉的检测需求，整个检测过程方便快捷且检测精准。

【技术实现步骤摘要】
一种基于空洞卷积的编码器和解码器的大肠息肉检测方法
本专利技术涉及一种大肠内窥镜息肉的检测方法，尤其涉及一种基于空洞卷积的编码器和解码器的大肠息肉检测方法。
技术介绍
早期的大肠息肉检测与切割方法主要是基于手工选取的图形特征，例如形状，颜色，线条，轮廓等，由于真实环境中的大肠息肉存在各种形态，同时有些和周围的正常组织有着很相似的特征，而传统的基于手工选择图形特征的方法只能学习有限的特定特征，因此这种方法无法取得令人满意的结果。随着神经网络与深度学习的快速发展，基于卷积神经网络的方法被广泛应用于图像识别领域，包括医疗图像识别，近几年，该方法在大肠息肉识别与分割领域也已经得到了一定的应用。Mohammed等人在2018年发表的学术论文《Y-Net:AdeepConvolutionalNeuralNetworkforPolypDetection》中提出了基于Y-Net的大肠息肉检测与切割方法，其中Y-Net是一个基于卷积神经网络的图像语义分割算法，受到U-Net编码器-解码器结构的启发，该网络由两个提取图像特征的编码器和一个生成语义分割图像的解码器组成，第一个编码器在训练之前预先加载了由ImageNet数据集（自然图像）训练得到的网络参数，由此可以利用已经学习到的广泛存在于自然图像中的图形特征，例如边界，曲线特征等，来帮助模型进行大肠息肉分类；第二个编码器通过Xaviernormalinitializer随机初始化起始参数，并通过较大的学习步长，来学习大肠息肉图片独有的图像特征；两个编码器提取出的不同图像特征将被融合并作为解码器的输入，该方法在公有数据集得到的召回率为84.4%，准确率为87.4%。Wang等人在2018年发表的学术论文《Developmentandvalidationofadeep-learningalgorithmforthedetectionofpolypsduringcolonoscopy》中提出了基于SegNet的大肠息肉检测与分割方法，其中的SegNet同样是一种基于卷积神经网络CNN的图像语义分割算法，与U-Net类似，该网络由一个解码器和一个编码器构成，并增加了网络层数。同时，作者提出一套息肉检测系统，该系统有三个线程组成，每个线程单独运行一个SegNet网络模型进行图像分割。每个线程检测一张图片需要耗时100毫秒，从而整个系统的运行速度能达到30帧每秒，该算法在公有数据集上得到了88.24%的召回率。但是上述两种方法在长时间的使用后发现，其召回率与准确率皆低于95%，没有达到实际使用的要求。
技术实现思路
本专利技术目的是为了克服现有技术的不足而提供一种对大肠内窥镜息肉检测的方法快速有效，且最后测出的息肉分割预测图像的准确率和召回率超过95%的基于空洞卷积的编码器和解码器的大肠息肉检测方法。为达到上述目的，本专利技术采用的技术方案是：一种基于空洞卷积的编码器和解码器的大肠息肉检测方法，包括如下步骤：S1:构建基于空洞卷积的编码器和解码器的模型后进行训练并固定；S2:获取单帧内镜图像；S3:将单帧内镜图像输入到S1模型中的编码器后获取特征图；S4:将特征图输入到S1模型中的解码器后获取息肉分割预测图像。进一步的，所述S1中基于空洞卷积的编码器的构建方法如下：选用基于ImageNet预训练的Resnet50网络作为骨干网络，且所述Resnet50网络分为四个阶段，第一阶段由3个bottleneck叠加构成，第二阶段由4个bottleneck叠加构成，第三阶段由6个bottleneck叠加构成，第四阶段由语义增强模块构成；其中，语义增强模块由一个普通1x1卷积核和三个具有不同膨胀率（膨胀率为：6，12，18）的3x3卷积核组成，通过应用不同膨胀率的卷积核得到具有不同视野域的语义信息并进行融合；进一步的，所述S3的步骤包括如下：所述单帧内镜图像输入到基于空洞卷积的编码器后通过Resnet50网络的三个阶段和语义增强模块，共输出四层特征图，四层特征图输入到经过训练且固定模型中的解码器内。进一步的，所述S4的步骤包括如下：将编码器输出的四层特征图，通过1x1的卷积核将由深到浅的四层特征图的通道数减低到128维，64维，64维，64维；再通过不同放大率的差值操作将每个特征图上采样到原图大小；最后，上述包含不同语义信息的四个特征图叠加在一起并通过一组3x3，1x1,3x3的卷积组合将不同层的特征融合，并最终输出息肉分割预测图像。进一步的，在S4后还包括如下步骤：利用后处理模块对息肉分割预测图像进行处理，其处理方法如下：a边界平滑处理：一个腐蚀算法紧接一个膨胀算法构成的开运算消除息肉分割预测图像中的噪声，再由一个膨胀算法紧接一个腐蚀算法构成的闭运算封闭息肉分割预测图像内部的小孔，得到平滑的息肉分割边界；b小连通域过滤:将a中得到的息肉分割预测图像大小调整为512x512后，删除小于1000像素的对象；进一步的，所述构建基于空洞卷积的编码器和解码器的模型的训练方法如下：①收集关于大肠内窥镜手术的图片，并将所有图片调整到512x512的大小然后将所有的图片进行数据增强操作，同时把图片分为训练集和测试集；②将训练集中的图片输入到模型中，每张图片通过编码器提取特征图然后通过解码器生成息肉切割预测图像后，得到一个息肉分割的二值掩码图；③用预测的二值掩码图与提前标注的真实分割图计算模型的误差，并通过误差调整整个模型的参数使其的输出更接近真实的标注，将上述过程重复多次训练直至误差到达可以接受的范围；④训练结束模型固定下来后，用模型对所有测试集中的图片进行息肉分割的预测，并用该预测与对应的提前标注好的真实分割图对比并计算出相关指标，确保模型最后得出的息肉分隔预测图的准确性达到要求。进一步的，所述数据增强的操作包括但不限于：随机旋转、随机水平、垂直翻转、随机缩放、倾斜、剪切、随机扭曲变形、随机对比度和随机亮度变化。由于上述技术方案的运用，本专利技术与现有技术相比具有下列优点：本专利技术方案的基于空洞卷积的编码器和解码器的大肠息肉检测方法，主要包括编码器，解码器与后处理模块三个主要部分，检测时单帧内镜图像通过编码器提取特征图，然后经由解码器对特征图进行特征融合后输出息肉分割预测图像，最后经由后处理模块对息肉分割预测图像处理后生成更精确的息肉分割预测图像，得出的息肉分割预测图像的准确率和召回率超过95%，符合大肠内窥镜息肉的检测需求，整个检测过程方便快捷且检测精准。附图说明下面结合附图对本专利技术技术方案作进一步说明：附图1为本专利技术的使用流程示意图；附图2为本专利技术的检测效果图；附图3为本专利技术的召回率和准确率的数据图；附图4为基于空洞卷积的编码器和解码器的模型的示意图；附图5为语义增强模块的使用过程示意图；附图6为相邻预测框融合过程中的使用示意图；其中：1、单帧内镜图本文档来自技高网...

【技术保护点】
1.一种基于空洞卷积的编码器和解码器的大肠息肉检测方法，其特征在于,包括如下步骤：/nS1: 构建基于空洞卷积的编码器和解码器的模型后进行训练并固定；/nS2: 获取单帧内镜图像；/nS3: 将单帧内镜图像输入到S1模型中的编码器后获取特征图；/nS4: 将特征图输入到S1模型中的解码器后获取息肉分割预测图像。/n

【技术特征摘要】
1.一种基于空洞卷积的编码器和解码器的大肠息肉检测方法，其特征在于,包括如下步骤：
S1:构建基于空洞卷积的编码器和解码器的模型后进行训练并固定；
S2:获取单帧内镜图像；
S3:将单帧内镜图像输入到S1模型中的编码器后获取特征图；
S4:将特征图输入到S1模型中的解码器后获取息肉分割预测图像。


2.根据权利要求1所述的基于空洞卷积的编码器和解码器的大肠息肉检测方法，其特征在于，所述S1中基于空洞卷积的编码器的构建方法如下：
选用基于ImageNet预训练的Resnet50网络作为骨干网络，且所述Resnet50网络分为四个阶段，第一阶段由3个bottleneck叠加构成，第二阶段由4个bottleneck叠加构成，第三阶段由6个bottleneck叠加构成，第四阶段由语义增强模块构成；
其中，语义增强模块由一个普通1x1卷积核和三个具有不同膨胀率的3x3卷积核组成，通过应用不同膨胀率的卷积核得到具有不同视野域的语义信息并进行融合。


3.根据权利要求2所述的基于空洞卷积的编码器和解码器的大肠息肉检测方法,其特征在于，所述S3的步骤包括如下：
所述单帧内镜图像输入到基于空洞卷积的编码器后通过Resnet50网络的三个阶段和语义增强模块，共输出四层特征图，四层特征图输入到经过训练且固定模型中的解码器内。


4.根据权利要求3所述的基于空洞卷积的编码器和解码器的大肠息肉检测方法,其特征在于，所述S4的步骤包括如下：
将编码器输出的四层特征图，通过1x1的卷积核将由深到浅的四层特征图的通道数减低到128维，64维，64维，64维；
再通过不同放大率的差值操作将每个特征图上采样到原图大小；
最后，上述包含不同语义信息的四个特征图叠加在一起并通过一组3x3...

【专利技术属性】
技术研发人员：曹鱼，孙辛子，刘本渊，
申请(专利权)人：苏州慧维智能医疗科技有限公司，
类型：发明
国别省市：江苏;32