一种基于深度学习的结直肠息肉图像分割方法技术

本发明专利技术公开了一种基于深度学习的结直肠息肉图像分割方法。首先获取结直肠息肉分割数据集；进行数据预处理；再构建基于深度学习的结直肠息肉图像分割模型；通过训练集对构建好的基于深度学习的结直肠息肉图像分割模型训练，对每一级预测结果使用结构损失函数进行监督学习，并且将最后一级的预测结果作为最终的预测结果；本发明专利技术基于深度学习来构建结直肠息肉图像分割模型，对结直肠息肉分割图像的特征进行精确提取并且细节保留完整，利用显著性目标检测中效果较好的结构损失函数对结果进行监督学习，使得预测结果更加准确，具有较强的鲁棒性，从而实现对结直肠息肉图像的精确分割。割。割。

【技术实现步骤摘要】
一种基于深度学习的结直肠息肉图像分割方法


[0001]本专利技术涉及计算机视觉以及深度学习领域，具体而言是一种基于深度学习的结直肠息肉图像分割方法。
技术背景
[0002]结直肠癌是全世界最常见的一种癌症。多项研究表明，早期结肠镜检查可以使结直肠癌的发病率下降30％。因此，通过结直肠镜来筛查和切除癌前病变来预防直肠癌至关重要。医生可以通过结肠镜检查所提供的结直肠息肉的位置和外观信息来对其在发展为结直肠癌之前切除，这是一种有效的结直肠癌筛查和预防技术。因此，在临床上，对息肉的精确定位和分割技术的研究是有实际应用价值的，这可以辅助内窥镜医生检测息肉，从而提高准确率。然而，对于这项技术充满了挑战性，主要有两方面的原因：一方面，息肉的外观通常不同，即使它们是同一类型，也会存在大小，颜色和质地等差别，这大大增加了息肉分割的难度；另一方面，在结肠镜图像中，息肉与其周围黏膜之间的边界通常是模糊的，并且缺乏分割方法所需的强烈对比度，这导致息肉变成了一个较难定位分割的伪装对象。
[0003]因此，一种能够在早期发现所有潜在息肉的自动而准确的息肉图像分割方法对预防结直肠癌具有重要意义。

技术实现思路

[0004]本专利技术提出一种基于深度学习的结直肠息肉图像分割方法。该方法可以准确快速的对息肉进行分割，解决息肉具有不同的大小、颜色和质地以及和周围组织黏膜高度相似所造成的分割精度不高的问题。
[0005]本专利技术的技术方案是这样实现的：
[0006]一种基于深度学习的结直肠息肉图像分割方法，包括以下步骤：
[0007]步骤(1)、获取结直肠息肉分割数据集。
[0008]结直肠息肉分割数据集采用现有的CVC
‑
ClinicDB数据集。该数据集被随机分成训练集和测试集，其中80％作为训练集用于对所提出的模型进行训练，20％作为测试集用于对所提出的模型的鲁棒性进行评判。
[0009]步骤(2)、数据预处理；
[0010]将结直肠息肉分割图像通过双线性插值算法裁剪为352
×
352尺寸；
[0011]步骤(3)、构建基于深度学习的结直肠息肉图像分割模型。
[0012]所述的基于深度学习的结直肠息肉图像分割模型包括一个ResNet50特征提取模块，三个CBR模块，搜索定位模块以及三个识别细化边界模块RRM。首先，输入图像通过ResNet50特征提取模块获得5个由浅层到深层的特征X1、X2、X3、X4和X5；接着将X1、X2和X3通过CBR模块进行特征增强；然后，使用搜索定位模块融合三个深层的特征X1、X2、X3，从而得到粗略的预测结果P1；最后,使用识别细化边界模块通过级联的方式得到精确的预测结果P2,P3，P4。
[0013]步骤(4)、通过训练集对构建好的基于深度学习的结直肠息肉图像分割模型训练，对每一级预测结果使用结构损失函数进行监督学习，并且将最后一级的预测结果作为最终的预测结果。
[0014]步骤(5)、对模型训练结果加以验证，将测试集的数据输入到训练好的模型中，然后获取预测结果，与真实结果对比验证是否有效。预测结果和真实结果都是只有0和1的二值化图像，通过相减的方式获取一张图不同的像素点，然后除以整张图总像素数就是MAE指标，该指标越小越好。
[0015]所述搜索定位模块由三个non
‑
local模块和一个特征聚合解码器组成，用于融合三个输入的信息，保留有用的细节，去除其中的噪声，从而得到一个粗略的预测结果。
[0016]将ResNet50特征提取模块获得X1，X2和X3特征分别通过一个non
‑
local模块，从而得到Z1，Z2和Z3特征；将Z1，Z2和Z3特征输入到特征聚合解码器中，得到粗略的全局预测结果P1。
[0017]所述的non
‑
local模块，用于对特征进行增强，捕获长距离依赖，使特征有丰富的上下文信息，增加息肉搜索的准确性。具体地说，输入一个特征X通过三个1
×
1卷积并进行reshape得到三个不同的特征Y1、Y2和Y3。Y1和Y2进行矩阵乘法运算得到的结果通过Sigmoid函数然后与Y3进行矩阵乘法运算，从而得到长距离依赖特征，该特征经过一个1
×
1卷积后与特征X相加得到最终增强的特征Z。
[0018]所述特征聚合解码器即FAD模块，将多层特征进行聚合来生成一个粗略的息肉分割预测图。FAD模块使用金字塔结构，以渐近的方式分层聚合相邻特征，将重点关注在相邻特征节点，使得聚合细节和语义信息并丢弃干扰信息。运算步骤依次为：输入Z1、Z2和Z3特征，将Z1和Z2特征通过上采样到与Z3特征同大小尺寸；将Z1和Z2进行点乘操作，随后通过一个卷积层得到Z12；将Z2和Z3进行点乘操作，随后通过一个卷积层得到Z23；然后将Z12和Z23特征进行点乘操作，随后通过一个卷积层；最后通过一个1
×
1卷积层得到粗略的全局预测结果P1。
[0019]所述的识别细化边界模块，有两个输入，一个输入是预测结果Prediction，也就是P1、P2和P3，另一个是特征Features，也就是Z1、Z2和Z3。首先对Prediction进行上采样操作使得其大小与Features大小一致，然后用1减去上采样后的Prediction。然后将1
‑
Prediction与Features经过CBR模块的结果相乘从而得到反向注意图，这个反向注意图在与Features进行拼接融合操作，在经过CBR模块进一步优化息肉边界，后将这个结果与Features相乘并经过卷积得到最终预测结果。
[0020]所述结构损失函数来源于显著性目标检测，它由二值交叉熵损失和交并比损失组成，所述结构损失函数如下：
[0021]L＝L
wbce
+L
wiou
[0022]所述二值交叉熵损失L
wbce
表达式如下：
[0023][0024]H为输出高度，W为输出宽度，g
ij
表示ground truth对应像素点(i，j)的值，p
ij
表示预测结果对应像素点(i，j)的值，γ是个超参数；α
ij
表示像素点(i，j)的权重。
[0025]所述α
ij
的表达式如下：
[0026][0027]A
ij
代表像素点(i，j)上下左右15个像素范围的区域；如果α
ij
越大，则说明该点像素(i，j)与周围像素不同，因此这是一个重要的像素，需要得到更多的关注。
[0028]所述交并比损失L
wiou
表达式如下：
[0029][0030]本专利技术有益效果：
[0031]本专利技术设计合理，基于深度学习来构建结直肠息肉图像分割模型，对结直肠息肉分割图像的特征进行精确提取并且细节保留完整，利用显著性目标检测中效果较好的结构本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度学习的结直肠息肉图像分割方法，其特征在于，包括以下步骤：步骤(1)、获取结直肠息肉分割数据集；步骤(2)、数据预处理；将结直肠息肉分割图像通过双线性插值算法裁剪为352
×
352尺寸；步骤(3)、构建基于深度学习的结直肠息肉图像分割模型；所述的基于深度学习的结直肠息肉图像分割模型包括一个ResNet50特征提取模块，三个CBR模块，搜索定位模块以及三个识别细化边界模块RRM；首先，输入图像通过ResNet50特征提取模块获得5个由浅层到深层的特征X1、X2、X3、X4和X5；接着将X1、X2和X3通过CBR模块进行特征增强；然后，使用搜索定位模块融合三个深层的特征X1、X2、X3，从而得到粗略的预测结果P1；最后,使用识别细化边界模块通过级联的方式得到精确的预测结果P2,P3，P4；步骤(4)、通过训练集对构建好的基于深度学习的结直肠息肉图像分割模型训练，对每一级预测结果使用结构损失函数进行监督学习，并且将最后一级的预测结果作为最终的预测结果；步骤(5)、对模型训练结果加以验证，将测试集的数据输入到训练好的模型中，然后获取预测结果，与真实结果对比验证是否有效；预测结果和真实结果都是只有0和1的二值化图像，通过相减的方式获取一张图不同的像素点，然后除以整张图总像素数就是MAE指标，该指标越小越好。2.根据权利要求1所述的一种基于深度学习的结直肠息肉图像分割方法，其特征在于，步骤(1)所述的结直肠息肉分割数据集采用现有的CVC
‑
ClinicDB数据集；该数据集被随机分成训练集和测试集，其中80％作为训练集用于对所提出的模型进行训练，20％作为测试集用于对所提出的模型的鲁棒性进行评判。3.根据权利要求1所述的一种基于深度学习的结直肠息肉图像分割方法，其特征在于，所述搜索定位模块由三个non
‑
local模块和一个特征聚合解码器组成，用于融合三个输入的信息，保留有用的细节，去除其中的噪声，从而得到一个粗略的预测结果；将ResNet50特征提取模块获得X1，X2和X3特征分别通过一个non
‑
local模块，从而得到Z1，Z2和Z3特征；将Z1，Z2和Z3特征输入到特征聚合解码器中，得到粗略的全局预测结果P1；所述的non
‑
local模块，用于对特征进行增强，捕获长距离依赖，使特征有丰富的上下文信息，增加息肉搜索的准确性；具体地说，输入一个特征X通过三个1
×
1卷积并进行reshape得到三个不同的特征Y1、Y2和Y3；Y1和Y2进行矩阵乘法运算得到的结果通过Si...

【专利技术属性】
技术研发人员：马立栋，颜成钢，高宇涵，孙垚棋，张继勇，李宗鹏，
申请(专利权)人：杭州电子科技大学，
类型：发明
国别省市：