一种深度学习相融合的协同学习增强的结肠息肉分割方法技术

本发明专利技术属于智能医疗计算机辅助诊断应用领域，涉及一种深度学习相融合的协同学习增强的结肠息肉分割方法。该方法包括特征提取模型、融合模块和多视角协同学习，其中特征提取模型分为两个分支，其一是利用DeiT

【技术实现步骤摘要】
一种深度学习相融合的协同学习增强的结肠息肉分割方法


[0001]本专利技术属于智能医疗计算机辅助诊断应用领域，具体涉及一种基于深度学习方法相融合的结肠息肉分割方法。
技术背景
[0002]预防结肠癌是全球人民需要去关注的一个问题。
[0003]临床治疗显示，结肠癌的产生与结肠息肉(Colon polyps)有着十分密切的关系。结肠息肉是结肠内部的良性(非癌性)组织，但是若没有及时发现治疗，可能会引起组织病变，从组织病变到结直肠癌大约需要五到十年的时间，但是大多数患者发现时已经是癌症中晚期。因为结肠癌的早期临床症状并不明显，随着病情的进展，开始出现头晕、头痛、体重下降、腹胀腹痛等症状，但此时病情基本已经到达中晚期时期。结肠息肉是结直肠癌的前期表现，越早筛查到结肠息肉，结肠癌患者的存活率越高。
[0004]现如今筛查结肠息肉的关键手段是结肠镜检测。通过结肠镜检测可以观察到息肉组织的形状、范围、大小，进而取出部分组织进行检查来判断息肉组织是否发生病变，以便进一步诊治。但是由于结肠息肉大小不一、形状各异以及息肉颜色和背景对比度较低等原因，导致在进行结肠镜检测时会造成部分息肉的漏检。漏检的息肉或许会影响病情的诊断，最终导致病情恶化进而死亡。所以利用计算机辅助技术提高结肠息肉的检出率对于结肠癌的诊治是非常有意义的。
[0005]现如今针对结肠息肉分割的方法主要分为两类：一是基于低级特征的传统分割方法；二是基于深度学习的分割方法。早期传统分割方法主要是依据形状、颜色和纹理特征来区分目标和背景区域，但是该方法需要依赖有医学知识的人员进行手动提取特征，所以应用于复杂多变的息肉分割任务中存在一定的局限性。随着深度学习的不断发展，一些基于卷积神经网络的深度学习方法开始应用于结肠息肉分割任务中，虽然提升了部分结肠息肉数据集的分割精度，但是对于直径较小的结肠息肉数据集分割性能依然较差。如何有效的提升包含小直径息肉数据集的分割精度依然是一个重要挑战。

技术实现思路

[0006]根据以上现有技术的不足，本专利技术提供一种深度学习相融合的协同学习增强的结肠息肉分割方法，根据结肠息肉大小不一、深度学习方法的各自优势等条件，提出一种利用深度学习方法相融合的结肠息肉分割方法，旨在提高包含较多小目标结肠息肉数据集的分割精度。
[0007]一种深度学习相融合的协同学习增强的结肠息肉分割方法，包括以下步骤：
[0008]第一步：训练数据集统一分辨率：本专利技术采用的数据集中的结肠镜图像分辨率各有不同，而Transformer分支中的DeiT的输入需要固定尺寸，并且对Transformer分支和CNN分支提取到的特征信息进行融合时分辨率相差太大也会带来一定的影响。因此，本专利技术在模型训练前对训练数据集统一处理。
[0009]第二步：将训练集分别输入到Transformer分支和CNN分支中。
[0010]第三步：Transformer分支：Transformer分支中首先对输入的图像预处理为二维序列形式，接着输入到DeiT
‑
small中进行全局特征信息提取，然后对DeiT
‑
small的输出序列T
l
重塑为d
model
通道的2D特征图像最后使用两次渐进式上采样(交替执行卷积和上采样操作)得到特征图T1[0011][0012]第四步：CNN分支：CNN分支中首先将输入图像传到HardNet
‑
MSEG网络中进行提取局部特征信息，然后对于HardNet
‑
MSEG的输出U
l
进行下采样得到U0，然后对U0进行2倍率上采样、卷积、BatchNorm、ReLu操作得到接着对U2进行上采样在下采样得到同理基于U1更新U0[0013][0014]第五步：融合模块：该模块的设计是为了充分融合Transformer分支和CNN分支提取的特征信息，弥补信息遗漏的缺陷。
[0015]5.1全局
‑
局部融合子模块：将Transformer分支提取的特征图T
i
和CNN分支提取的特征图U
i
输入到全局
‑
局部融合子模块中，实现对来自两个分支同一尺度下的特征图的融合，最终的输出F
i
表示融合特征图。
[0016]5.2密集融合子模块：将全局
‑
局部融合子模块的输出F
i
输入到密集融合子模块中进行多尺度特征融合，目的是为了获得更全面的特征表示。
[0017]第六步：多视角协同训练：本专利技术中包括Transformer分支、CNN分支、融合分支，每个分支都有预测输出图，若以人为给定分支的权重或者平等对待每个分支的方式来训练整个过程显然是无法实现网络的最佳性能，所以本专利技术将Transformer分支、CNN分支、融合分支视为三个视角，使用多视角协同的目标函数进行训练，实现自适应的评估每个视角的权重。
[0018][0019][0020]loss
k
＝loss(Pre
k
,G)
[0021]其中，w代表视角权重系数，Θ代表模型参数，loss
k
代表第k个视角的预测值与真实标签之间的损失，λ代表超参数，Pre
k
代表第k个视角的预测输出，G代表真实标签。
[0022]第七步：综合决策：本专利技术网络结构中三个视角输出三个预测图，选择哪一个作为最终结果都是不可靠的，由于本专利技术在训练过程保存了每个分支的权重，所以利用每个视角的权重与各自预测图相乘在相加作为最终预测图，实现综合决策，有望实现最佳分割效果。
[0023][0024]其中，Out代表综合决策后的输出结果，w
k
代表第k个视角的权重。
[0025]进一步的，步骤6中，λ超参数的最优值可以采用交叉验证或其他策略得到。
[0026]进一步的，所述第七步中使用的多视角训练，将Transformer分支、CNN分支、融合分支视为三个视角，使用多视角协同的目标函数，自适应的评估每个视角的重要性。其中对于目标函数的求解采用交叉迭代的方式进行求解，固定网络参数Θ，利用求解w
k
，本专利技术中设置λ为1。固定w
k
，利用Adam优化器更新模型参数Θ。w
k
为每个第k个视角的权重，要求三个视角权重相加为1。
[0027]本专利技术的优点包括以下几点：
[0028](1)模型结构的设计：现存的分割结肠息肉的方法有基于卷积神经网络的、基于Transformer方法的，虽然现有的一些方法对于分割结肠息肉有一定的效果，但也存在一定的缺陷。本专利技术通过使用Transformer和CNN相结合的方法可以兼顾Transformer网络的全局特征学习能力和CNN网络的局部特征学习能力，可以实现从不同的方面进行信息互补。
[0029](2)特征融合模块的构建，为了融合两种深度学习技本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种深度学习相融合的协同学习增强的结肠息肉分割方法，其特征在于，步骤如下：第一步：对结肠镜图像训练数据统一分辨率；第二步：将训练集分别输入到Transformer分支和CNN分支中；第三步：Transformer分支中首先对输入的图像预处理为二维序列形式，然后输入到DeiT
‑
small中进行全局特征信息提取，最后对DeiT
‑
small的输出序列T
l
重塑为d
model
通道的2D特征图像然后使用两次渐进式上采样得到特征图然后使用两次渐进式上采样得到特征图第四步：CNN分支中首先将输入图像传到HardNet
‑
MSEG网络中进行提取局部特征信息，然后对于HardNet
‑
MSEG的输出U
l
进行下采样得到U0，然后对U0进行2倍率上采样、卷积、BatchNorm、ReLu操作得到接着对U2进行上采样在下采样得到进行上采样在下采样得到同理基于U1更新第五步：5.1将Transformer分支提取的特征图T
i
和CNN分支提取的特征图U
i
输入到全局
‑
局部融合子模块中，实现对来自两个分支同一尺度下的特征图的融合，最终的输出F
i
表示融合特征图；5.2将全局
‑
局部融合子模块的输出F
i
输入到密集融合子模块中进行多尺度特征融合，目的是为了获得更全面的特征表示；第六步：将Transformer分支、CNN分支、融合分支视为三个视角，使用多视角协同的目标函数进行训练，实现自适应的评估每个视角的权重；第...

【专利技术属性】
技术研发人员：邓赵红，王园园，娄琼丹，胡曙东，刘月影，王士同，
申请(专利权)人：江南大学，
类型：发明
国别省市：