一种基于深度卷积网络的大肠内窥镜息肉检测方法技术

本发明专利技术涉及一种基于深度卷积网络的大肠内窥镜息肉检测方法，包括如下步骤：S1构建卷积神经网络，卷积神经网络由骨干网络在ImageNet进行预训练，再由包含息肉类别和位置信息的训练图像数据集训练所得；S2对彩色内镜图像进行预处理；S3将预处理后的彩色内镜图像输入卷积神经网络后提取图片特征层信息；S4对图片特征层信息进行特征增强和视野域的提升；S5将图片特征层信息解码为息肉的类别和其位置信息，本发明专利技术的一种基于深度卷积网络的大肠内窥镜息肉检测方法，其操作方便，可以提升对息肉图像推理速度和敏感度，从而能够在内窥镜图像中快速的定位息肉位置，并且避免了在内窥镜图像下，同一息肉物体会因内不同旋转角度而造成标签设定的不一致。

【技术实现步骤摘要】
一种基于深度卷积网络的大肠内窥镜息肉检测方法
本专利技术属于息肉检测技术的
，尤其涉及一种基于深度卷积网络的大肠内窥镜息肉检测方法。
技术介绍
结肠癌在全世界范围内属于高发的恶性肿瘤，预计2018年就有1.8万例确诊和881000例死亡，肠癌由良性息肉病变发展而来，因此早期的筛查发现是一种非常有效的预防手段；如对于良性腺瘤性息肉和增生性息肉使用内窥镜进行移除能有效的避免其发展为恶性肿瘤。Leufkens等人于2012年发表的《FactorsInfluencingtheMissRateofPolypsinaBack-To-BackColonoscopyStudy》文章中提到其实验中有25％的腺瘤性息肉被医生漏检，现实操作中有很多因素会造成息肉漏检，可以总结为：息肉过小，息肉被异物遮盖，退镜过快，息肉未出现在镜头中，息肉出现在镜头内但被医生忽视，尽管一些因素可以通过术前的肠道准备，提升设备性能和提升医生的操作来降低漏检率，但由于内镜操作十分依赖于医生的视觉来寻找在肠道内特征不是特别明显的结肠息肉，因内镜设备操作者疲劳，经验和敏感度等人为因素造成的漏检是十分难以避免的，因此自动化的息肉检测是一个十分有效的工具用来帮助医生降低漏检率。Ameling等人在《Texture-basedpolypdetectionincolonoscopy》一文中使用基于息肉表面的纹理，颜色和形状来区别正常肠道内壁和息肉的方法，但是其方法在真实的环境中会带来大量的误报，比如一些正常的组织，隆起，镜头上的光斑，带有明显的血管区域和肠道异物。关于使用现有的深度学习等技术在结肠癌图片的检测，Mo等人在《PolypsDetectioninEndoscopicVideosBasedonFasterR-CNN》中使用了Faster-RCNN用于息肉检测，一种双阶段基于锚框的物体检测器，不同于传统的图像处理方法，深度学习调用了大规模的卷积神经网络CNN来提取图像特征信息，用更多的特征来分辨容易混淆的息肉形态特征和正常肠壁的形态特征，但是由于其使用了双阶段的架构，第一个阶段会产生出较多的候选框，不符合实时检测的要求。所以现有的上述两种检测方法都存在一些缺点，无法满足实际的使用要求。
技术实现思路
本专利技术目的是为了克服现有技术的不足而提供一种检测方法精度高，误报率低，且检测速度快的基于深度卷积网络的大肠内窥镜息肉检测方法。为达到上述目的，本专利技术采用的技术方案是：一种基于深度卷积网络的大肠内窥镜息肉检测方法，包括如下步骤：S1：构建卷积神经网络，所述卷积神经网络由骨干网络在ImageNet进行预训练，再由包含息肉类别和位置信息的训练图像数据集训练所得；S2：对彩色内镜图像进行预处理；S3：将预处理后的彩色内镜图像输入卷积神经网络后提取图片特征层信息；S4：对图片特征层信息进行特征增强和视野域的提升；S5：将图片特征层信息解码为息肉的类别和其位置信息。进一步的，所述卷积神经网络包含十六层卷积，每层网络均通过反向传播来更新其权重参数；所述卷积神经网络以maxpool为界限分成步长为4,8,16,32,64的不同阶段；进一步的，对彩色内镜图像进行预处理的步骤如下：裁剪彩色内镜图的黑边；调整图像尺寸到统一大小和进行像素均值的归一化。进一步的，S3中，将经过预处理后的彩色内镜图像输入卷积神经网络中进行卷积操作，得到大小为80x80,40x40,20x20,10x10,5x5的图片特征层信息，分别对应卷积神经网络中步长为4,8,16,32,64的输出。进一步的，所述S4中的步骤如下：a:对预处理后的图片特征层信息进行特征增强；b:将经过特征增强的图片特征层信息输入到视野域提升模块获取提升视野域后的图片特征层信息。进一步的，所述特征增强的处理方法如下：一、从卷积神经网络中抽取k个中间层，其中k＝5；二、当对于特征层Si，其中i＝0～k-1，进行特征融合时，首先使用卷积核为1x1的卷积层对特征层Si+1进行平滑和降维操作；三、使用卷积核为2x2，步长为2的转置卷积进行上采样，结果与特征层Si相加得到增强特征Ei，其公式为：Ei＝Si+deconv(smooth(Si+1))；其中，deconv()为转置卷积，smooth()为1x1的卷积操作；进一步的，所述视野域提升模块包含三个分支，每个分支分别处理1/3的通道数，并包含1,2,3个卷积核为3x3步长为1稀疏为3的稀疏卷积；图片特征层信息进入到视野域提升模块后的输出为每个分支的卷积结果在通道层面的级联。进一步的，S5中解码过程如下：对于边界框回归特征层,特征点x，y其输出预测为其中，经解码得到预测物体位置[cx，cy，w，h]，其中，cx，cy为物体框中心点x,y值，w,h为物体框的宽高，然后结合物体类别信息得出息肉的类别和位置信息[s,cx,xy,w,h]；其中s为物体类别。进一步的，所述卷积神经网络的训练方法如下：①由骨干网络在ImageNet进行预训练，再由包含息肉类别和位置信息的训练图像数据集训练得到卷积神经网络；②对彩色内镜图像进行预处理；③将预处理后的彩色内镜图像输入卷积神经网络中，进行图片特征层信息的提取；④对卷积神经网络提取的图片特征信息进行特征增强以及视野域提升；⑤对于不同特征层的特征点按照目标息肉的大小给予不同的标签；假设一个息肉目标边界框b＝(cx，cy，w，h),(cx，cy)为边界框的中心点，(w，h)为宽高；将其按大小分配到缩放步长为sl的特征层Kl，此特征层包含有m2个特征点，其中m为特征层边长，集合表示特征点在原图的位置，其中xi＝sl×i，yj＝sl×j；正样本区域为非正样本为其中区域大小按照εp＝0.75，εn＝1.25进行缩放；当特征点在正样本的区域内时，判定为正样本；当特征点在正样本和非正样本的区域之间时，判定为忽略样本；当特征点在非正样本的区域之外时，判定为负样本；⑥对特征点的息肉目标分配和当前层的息肉目标筛选；在判定正负样本时，假设物体b属于特征层i，i∈[0，k-1]，d＝|i-l|为当前特征层与最佳特征层的距离缩放大小取值为：δ1＝max(Lcosin(λ，d，k)，0)；因此当前层的新非正样本为：其中，δl为计算求得的缩放非正样本比例；⑦对于不同息肉目标对于不同的特征层会生成不同的距离热力值来辅助特征点对于当前位置的息肉目标判定，具体公式为：其中：min(x，y)取x，y中最小值，同理max(x，y)取x，y中最大值；其中，left、right、top和bottom分别表示为特征点距离样本框的左边框、右边框、上边框和下边框的距离；生成的热力图在训练阶段本文档来自技高网...

【技术保护点】
1.一种基于深度卷积网络的大肠内窥镜息肉检测方法，其特征在于，包括如下步骤：/nS1：构建卷积神经网络，所述卷积神经网络由骨干网络在ImageNet进行预训练，再由包含息肉类别和位置信息的训练图像数据集训练所得；/nS2：对彩色内镜图像进行预处理；/nS3：将预处理后的彩色内镜图像输入卷积神经网络后提取图片特征层信息；/nS4：对图片特征层信息进行特征增强和视野域的提升；/nS5：将图片特征层信息解码为息肉的类别和其位置信息。/n

【技术特征摘要】
1.一种基于深度卷积网络的大肠内窥镜息肉检测方法，其特征在于，包括如下步骤：
S1：构建卷积神经网络，所述卷积神经网络由骨干网络在ImageNet进行预训练，再由包含息肉类别和位置信息的训练图像数据集训练所得；
S2：对彩色内镜图像进行预处理；
S3：将预处理后的彩色内镜图像输入卷积神经网络后提取图片特征层信息；
S4：对图片特征层信息进行特征增强和视野域的提升；
S5：将图片特征层信息解码为息肉的类别和其位置信息。


2.根据权利要求1所述的基于深度卷积网络的大肠内窥镜息肉检测方法，其特征在于：所述卷积神经网络包含十六层卷积，每层网络均通过反向传播来更新其权重参数；
所述卷积神经网络以maxpool为界限分成步长为4，8，16，32，64的不同阶段。


3.根据权利要求1所述的基于深度卷积网络的大肠内窥镜息肉检测方法，其特征在于，对彩色内镜图像进行预处理的步骤如下：
裁剪彩色内镜图的黑边；
调整图像尺寸到统一大小和进行像素均值的归一化。


4.根据权利要求1所述的基于深度卷积网络的大肠内窥镜息肉检测方法，其特征在于：S3中，将经过预处理后的彩色内镜图像输入卷积神经网络中进行卷积操作，得到大小为80x80，40x40，20x20，10x10，5x5的图片特征层信息，分别对应卷积神经网络中步长为4，8，16，32，64的输出。


5.根据权利要求4所述的基于深度卷积网络的大肠内窥镜息肉检测方法，其特征在于，所述S4中的步骤如下：
a:对预处理后的图片特征层信息进行特征增强；
b：将经过特征增强的图片特征层信息输入到视野域提升模块获取提升视野域后的图片特征层信息。


6.根据权利要求5所述的基于深度卷积网络的大肠内窥镜息肉检测方法，其特征在于，所述特征增强的处理方法如下：
一、从卷积神经网络中抽取k个中间层，其中k＝5；
二、当对于特征层Si，其中i＝0～k-1，进行特征融合时，首先使用卷积核为1x1的卷积层对特征层Si+1进行平滑和降维操作；
三、使用卷积核为2x2，步长为2的转置卷积进行上采样，结果与特征层Si相加得到增强特征Ei，其公式为：
Ei＝Si+deconv(smooth(Si+1))；
其中，deconv()为转置卷积，smooth()为1x1的卷积操作。


7.根据权利要求6所述的基于深度卷积网络的大肠内窥镜息肉检测方法，其特征在于：所述视野域提升模块包含三个分支，每个分支分别处理1/3的通道数，并包含1，2，3个卷积核为3x3步长为1稀疏为3的稀疏卷积；图片特征层信息进入到视野域提升模块后的输出为每个分支的卷积结果在通道层面的级联。


8.根据权利要求1所述的基于深度卷积网络的大肠内窥镜息肉检测方法，其特征在于，S5中解码过程如下：
对于边界框回归特征层，特征点x，y其输出预测为
其中，



经解码得到预测物体位置[cx，cy，w，h]，其中，cx，cy为物体框中心点x，y值，w，h为物体框的宽高，然后结合物体类别信息得出...

【专利技术属性】
技术研发人员：曹鱼，王德纯，刘本渊，
申请(专利权)人：苏州慧维智能医疗科技有限公司，
类型：发明
国别省市：江苏;32