一种基于多尺度特征融合增强的结肠息肉图像息肉分割方法及系统技术方案

本发明专利技术公开了一种基于多尺度特征融合增强的结肠息肉图像息肉分割方法，所述方法包括：将待分割图像输入编码器网络进行连续卷积池化生成多个不同尺度的特征图；将不同尺度的特征图输入多尺度特征融合增强模块中，得到多个不同尺度的富含了多尺度信息的特征图，并输入解码器；在解码器网络中，将不同尺度的富含了多尺度信息的特征图经过多次迭代后生成的特征图用于完成对结肠息肉图像的息肉分割，并输出分割结果图。输出分割结果图。输出分割结果图。

【技术实现步骤摘要】
一种基于多尺度特征融合增强的结肠息肉图像息肉分割方法及系统


[0001]本专利技术涉及一种基于多尺度特征融合增强的结肠息肉图像息肉分割方法及系统，属于计 算机信息技术处理领域。

技术介绍

[0002]根据2020年全球癌症统计报告数据显示，在所有统计的癌症中，结直肠癌(Colorectalcancer,CRC)的发病率排名第三，死亡率排名第二，预计2020年将发生超过190万例新发 结直肠癌病例和935,000例死亡，约占癌症病例和死亡人数的十分之一，而结直肠癌的发病 率与国家区域的经济发展水平息息相关，往往随着人类发展指数(Human Development Index， HDI)的增加而均匀上升，甚至可被视为社会经济发展的标志。目前，通过筛查和切除癌前 病变来预防结直肠癌仍然是减少日益增加的结直肠癌全球负担的关键策略。结肠镜检查时最 有效的结直肠癌筛查手段，也是结直肠癌筛查的金标准，通过结肠内镜检查能直观地观察到 息肉的位置以及外观信息，包括大小、范围、形状等，也可以检测到结肠黏膜的病变情况进 而进行诊断并确定后续的治疗方案。多项研究表明，早期结肠镜检查使结直肠癌的发病率下 降了30％，且每提升1％的结肠息肉检出率，结直肠癌的发病率会降低3％。在结肠镜检查过 程中，对临床检查人员的操作技术、专业医学知识以及经验水平有着极其高的要求，而结肠 息肉的漏检率依然高达25％。结肠息肉的大小、形状、类型以及病变的严重程度都会对检查 的难易程度造成影响，一些直径小于10毫米的息肉让临床操作者无法发现，而患者患有的某 些肠道并发症也会对检查造成一定的影响从而导致息肉的漏检。所以，有效的降低结肠镜检 查的息肉漏检率实现对结直肠癌提前筛查，进而能够降低结直肠癌的发病率达到预防效果。
[0003]随着人工智能时代的到来，深度学习作为人工智能领域中的热门技术快速发展，大量的 基于深度学习技术的方法被广泛应用于目标检测、图像分割、自然语言处理(natural languageprocessing,NLP)、医学成像、计算生物学等领域，并取得了革命性的进步。作为图像分割领 域子任务之一的医学图像分割任务，在过去的一段时间内，各种创新的医学图像分割算法被 不断提出。相较于传统分割方法，新的分割模型和算法在处理医学图像分割任务时的精度和 速度都在不断提升。
[0004]在传统的结肠息肉筛查中，通常通过临床检查人员人工进行筛查，不仅筛查效率低，且 时间成本过高，容易出现漏检的情况。已有结肠息肉图像分割方法分割速度和精度不高，设 计一种能够在早期准确发现所有潜在息肉的自动息肉分割方法具有现实意义。

技术实现思路

[0005]本专利技术的目的在于提供一种基于多尺度特征融合增强的结肠息肉图像息肉分割方法及系 统，以解决现有技术人工进行筛查，不仅筛查效率低，且时间成本过高，容易出现漏检的缺 陷。
[0006]一种基于多尺度特征融合增强的结肠息肉图像息肉分割方法，所述方法包括：
[0007]将待分割图像输入编码器网络进行连续卷积池化生成多个不同尺度的特征图；
[0008]将不同尺度的特征图输入多尺度特征融合增强模块中，得到多个不同尺度的富含了多尺 度信息的特征图，并输入解码器；
[0009]在解码器网络中，将不同尺度的富含了多尺度信息的特征图经过多次迭代后生成的特征 图用于完成对结肠息肉图像的息肉分割，并输出分割结果图。
[0010]进一步地，所述编码器中的卷积层对输入图像进行特征提取和分析，池化层对特征进行 降维缩小图像分辨率，减少计算参数量。
[0011]进一步地，得到多个不同尺度的富含了多尺度信息的特征图，包括：
[0012]将当前尺度的特征图F
(i)
以及分辨率更高的特征图F
(1，2...i
‑
1)
输入多尺度特征融合增强模 块中转换成特征向量序列后，经过多个遗忘增强模块判断保留、遗忘和增强特征信息，输出 一个和当前尺度大小相同的特征图；
[0013]在不同的层级重复上述操作，得到多个不同尺度的富含了多尺度信息的特征图F
E(1，2...i)
。
[0014]进一步地，所述方法还包括：
[0015]得到多个不同尺度的富含了多尺度信息的特征图后，在解码器网络当中将上一层级得到 的特征图上采样后与当前层级的富含了多尺度信息的特征图F
E(i)
进行跳跃连接，经过多次迭 代后生成的特征图不仅具有图像的高级语义特征和浅层特征，并且对多尺度特征进行了融合。
[0016]进一步地，所述多尺度特征融合增强模块包括多个遗忘增强模块，
[0017]每个所述遗忘增强模块包括遗忘模块和增强模块，所述遗忘模块对传输进来的特征向量 序列进行处理，对保留和遗忘进行判断，所述增强模块用于对特征向量序列进行更新或者添 加新的特征信息。
[0018]进一步地，所述遗忘增强模块对特征向量序列进行因果卷积操作后，使用Sigmod激活函 数处理并和原始特征向量序列进行按位相乘；
[0019]在对输入的特征向量序列进行因果卷积以后分别使用Sigmod和tanh激活函数处理后进 行按位相乘；最后将遗忘模块和增强模块输出的特征向量序列进行相加作为当前遗忘增强模 块的输出；
[0020]将输出的特征向量序列与输入序列长度相同并作为下一个遗忘增强模块的输入。
[0021]进一步地，所述结肠息肉图像的息肉分割采用息肉分割模型获取，所述息肉分割模型包 括：
[0022]获取结肠息肉图像数据集，所述数据集分为息肉图像以及息肉分割标签；
[0023]对数据集中的每张结肠息肉图像输入预设分割模型，输出分割结果图与真实标签进行对 比，通过损失函数进行反向传播，进行梯度下降，训练得到所述分割模型。
[0024]进一步地，所述损失函数使用二分类交叉熵(Binary Cross Entropy，BCE)损失函数以 及IOU损失组合计算，其表达如下：
[0025][0026][0027]L＝L
BCE
+L
IoU
ꢀꢀ
(3)
[0028]其中，i表示图像中的每个像素点，代表对每个像素点的预测值，y
i
则是代表每个像素 点的真实值，L
BCE
表示二分类交叉熵BCE，L
IoU
表示IOU损失，且L
BCE
和L
IoU
的损失权重大 小相同。
[0029]进一步地，所述解码器用于逐层恢复具有原始分辨率的特征，使特征还原。
[0030]一种基于多尺度特征融合增强的结肠息肉图像息肉分割系统，所述系统包括：
[0031]下采样编码器网络：用于将每个层级得到的特征图进行运算后与下一个层级特征图进行 跳跃连接操作；
[0032]上采样解码器网络：用于将输入的待分割图像进行处理得到多个不同尺度的特征图并转 换成特征向量序列；...

【技术保护点】

【技术特征摘要】
1.一种基于多尺度特征融合增强的结肠息肉图像息肉分割方法，其特征在于，所述方法包括：将待分割图像输入编码器网络进行连续卷积池化生成多个不同尺度的特征图；将不同尺度的特征图输入多尺度特征融合增强模块中，得到多个不同尺度的富含了多尺度信息的特征图，并输入解码器；在解码器网络中，将不同尺度的富含了多尺度信息的特征图经过多次迭代后生成的特征图用于完成对结肠息肉图像的息肉分割，并输出分割结果图。2.根据权利要求1所述的基于多尺度特征融合增强的结肠息肉图像息肉分割方法，其特征在于，所述编码器中的卷积层对输入图像进行特征提取和分析，池化层对特征进行降维缩小图像分辨率，减少计算参数量。3.根据权利要求1所述的基于多尺度特征融合增强的结肠息肉图像息肉分割方法，其特征在于，得到多个不同尺度的富含了多尺度信息的特征图，包括：将当前尺度的特征图F
(i)
以及分辨率更高的特征图F
(1，2...i
‑
1)
输入多尺度特征融合增强模块中转换成特征向量序列后，经过多个遗忘增强模块判断保留、遗忘和增强特征信息，输出一个和当前尺度大小相同的特征图；在不同的层级重复上述操作，得到多个不同尺度的富含了多尺度信息的特征图F
E(1，2...i)
。4.根据权利要求1所述的基于多尺度特征融合增强的结肠息肉图像息肉分割方法，其特征在于，所述方法还包括：得到多个不同尺度的富含了多尺度信息的特征图后，在解码器网络当中将上一层级得到的特征图上采样后与当前层级的富含了多尺度信息的特征图F
E(i)
进行跳跃连接，经过多次迭代后生成的特征图不仅具有图像的高级语义特征和浅层特征，并且对多尺度特征进行了融合。5.根据权利要求1所述的基于多尺度特征融合增强的结肠息肉图像息肉分割方法，其特征在于，所述多尺度特征融合增强模块包括多个遗忘增强模块，每个所述遗忘增强模块包括遗忘模块和增强模块，所述遗忘模块对传输进来的特征向量序列进行处理，对保留和遗忘进行判断，所述增强模块用于对特征向量序列进行更新或者添加新的特征信息。6.根据权利要求5所述的基于多尺度特征融合增强的结肠息肉图像息肉分割方法，其特征在于，所述遗忘增强模...

【专利技术属性】
技术研发人员：巫义锐，王岩松，
申请(专利权)人：河海大学，
类型：发明
国别省市：