一种基于CNN和Transformer融合的结肠镜息肉图像分割方法技术

本发明专利技术提供了一种基于CNN和Transformer融合的结肠镜息肉图像分割方法，其步骤为：S1，将结肠镜息肉图像数据集划分为训练、验证和测试样本集；S2，对样本集进行数据预处理操作；S3，使用预处理后训练和验证样本集对神经网络模型进行训练、验证，并保存训练好的神经网络模型；S4，将预处理后测试样本集输入训练好的神经网络模型中，得到结肠镜息肉图像粗分割结果；S5，对结肠镜息肉图像粗分割结果进行图像后处理操作，得到最终分割结果。本发明专利技术创新性设计了一种CNN和Transformer神经网络融合模型，其弥补了CNN和Transformer分支特征融合过程中因学习范式差异而产生的潜在问题，进而充分利用两者特征互补性，有效地解决了息肉难以定位、细节难以捕获以及伪装性区域难以辨别问题。题。题。

【技术实现步骤摘要】
一种基于CNN和Transformer融合的结肠镜息肉图像分割方法


[0001]本专利技术涉及图像处理
，尤其涉及一种基于CNN和Transformer融合的结肠镜息肉图像分割方法。

技术介绍

[0002]结直肠癌(Colorectal Cancer,CRC)已经逐渐成为对人类健康的严重威胁，据公开文献记载，结直肠癌目前是世界上第三大常见癌症，也是癌症死亡率第四高的病种，且仍呈现逐步上升的趋势。而CRC患者存活率很大程度上取决于检测到病症的阶段，早期的检测和治理可以有效控制病情，大幅提升CRC患者存活率。
[0003]现有结直肠癌诊断方法中，结肠镜(Colonoscopy)检查是早期筛查最有效的方法，其可以直观的观察到肿瘤的大小、形状等特征，从而辅助医生及时识别和切除息肉病灶区域，防止其进一步扩散。然而，临床诊断中，息肉区域漏检率高达6％，其中有两方面关键因素影响了诊断结果：1)客观因素。息肉的大小与病变情况多样，导致医生难以检测具有强大伪装性的息肉区域；2)主观因素。息肉检测结果会因医生经验差别以及医生个人状态差别而造成偏差。因此，医生人工检测的方法尚不能充分挖掘患者结肠镜图像信息。
[0004]目前，现有结肠镜息肉图像分割方法主要分为传统方法和深度学习方法两大类。传统方法主要依赖于手工提取的特征，但由于制作的特征表达能力相当有限，易受到息肉区域形状等因素的影响，导致对噪声点和对比度非常敏感，因此并不能很好的胜任息肉分割这项工作。近年来，深度学习方法因其高效的特征提取能力和良好的特征表达能力，在息肉分割研究方向上受到了广泛的应用，主要包含CNN和Transformer两大类模型方法。其中CNN模型方法擅长于捕获局部特征中的细节信息，而在建模长距离依赖关系能力上有所不足；与此相反，Transformer模型方法擅长于建模长距离依赖关系，而在捕获细节信息方面能力有所不足。尽管目前已有研究开始尝试将两者结合，但是这种早期的尝试并未充分考虑到由于CNN和Transformer模型间学习范式差异而产生的语义鸿沟问题，因此如何充分利用CNN和Transformer模型各自优势，赋予深度学习模型更强大的特征表达能力，仍是摆在我们面前的难题。

技术实现思路

[0005]为了解决现有技术存在的上述技术问题，本专利技术提供了一种基于CNN和Transformer融合的结肠镜息肉图像分割方法，其有效缓解了CNN和Transformer模型因学习范式差异而产生的语义鸿沟问题，进而全面充分利用了CNN和Transformer模型各自优势，使学习的特征表示强大且具有泛化性，提高了结肠镜息肉图像分割的准确性。
[0006]本专利技术解决上述技术问题的技术方案是：一种基于CNN和Transformer融合的结肠镜息肉图像分割方法，包括以下步骤：
[0007]S1：将获取到的结肠镜息肉图像数据集划分为训练样本集、验证样本集和测试样本集；
[0008]S2：对步骤S1划分好的样本集，采用包括多尺度训练策略调整尺寸大小、标准化在内的数据预处理操作；
[0009]S3：使用步骤S2获取到的预处理后训练样本集和验证样本集对神经网络模型进行训练、验证，并保存训练完成后的神经网络模型；
[0010]S4：将步骤S2获取到的预处理后测试样本集输入到步骤S3已训练完成的神经网络模型中，得到结肠镜息肉图像粗分割结果；
[0011]S5：对步骤S4获取到的结肠镜息肉图像粗分割结果，采用包括全连接条件随机场、孔洞填充算法在内的图像后处理操作，进一步细化并得到结肠镜息肉图像分割最终结果。
[0012]优选地，所述步骤S1具体为：将获取到的结肠镜息肉图像数据集按0.8：0.1：0.1比例随机划分为训练样本集、验证样本集和测试样本集。
[0013]优选地，所述步骤S2具体为：对步骤S1划分好的样本集统一调整到352
×
352尺寸大小，在此基础上进一步采用多尺度训练策略按{0.75，1，1.25}缩放系数将统一尺寸后的样本集图像随机调整为264
×
264、352
×
352和440
×
440尺寸大小；
[0014]接着，对尺寸调整后的每个样本进行均值方差标准化操作，即按通道减去均值，再除以方差。
[0015]优选地，所述步骤S3具体为：使用步骤S2获取到的预处理后训练样本集和验证样本集对CNN和Transformer神经网络融合模型进行训练、验证，当迭代次数达到设定值时停止训练过程，并保存验证样本集上分割性能最佳时的CNN和Transformer神经网络融合模型。
[0016]优选地，步骤S3中所述CNN和Transformer神经网络融合模型为一个编码
‑
解码架构，具体为：
[0017]在CNN和Transformer神经网络融合模型编码部分，将步骤S2获取到的预处理后样本集分别输入到预先训练好的CNN模型和Transformer模型中，以从局部和全局两个视角对结肠镜下息肉图像进行特征提取。
[0018]接着，将同一层次的CNN和Transformer分支编码特征均输入到双分支融合模块，获得多尺度下注意力加权的融合特征。这一融合过程具体如下：
[0019]S3
‑
1，利用公式捕获来自不同尺度的信息，并将不同尺度分支流的信息进行整合以形成多尺度特征信息描述符。其中，c
i
表示CNN分支编码的特征；t
i
表示Transformer分支编码的特征；f
rfb
(
·
)表示RFB策略，用于进行多尺度特征学习；表示矩阵乘法；Concat(
·
)表示特征拼接。
[0020]S3
‑
2，利用公式和将步骤S3
‑
1获取到的多尺度特征信息描述符加权于CNN和Transformer分支编码特征，此时CNN分支编码特征和Transformer分支编码特征通过多尺度上下文信息加权，缓解了因两者学习范式差异而产生的巨大语义鸿沟，生成了兼具两者特性加权下的融合特征。其中，f
i
表示多尺度特征信息描述符；c
i
表示CNN分支编码的特征；t
i
表示Transformer分支编码的特征；表示矩阵乘法；f1×1(
·
)表示1
×
1卷积操作。
[0021]S3
‑
3，利用公式将步骤S3
‑
2特征引导后的CNN和Transformer分支编码
特征重新融合，加强整体信息表示。其中，表示对应位置元素相加。
[0022]在CNN和Transformer神经网络融合模型解码部分，将步骤S3
‑
3获取到的不同层次双分支融合特征输入到渐进式注意力解码模块，获得逐层高级语义信息指导后的解码特征。这一解码过程具体如下：
...

【技术保护点】

【技术特征摘要】
1.一种基于CNN和Transformer融合的结肠镜息肉图像分割方法，其特征在于，包括以下步骤：S1：将获取到的结肠镜息肉图像数据集划分为训练样本集、验证样本集和测试样本集；S2：对步骤S1划分好的样本集，采用包括多尺度训练策略调整尺寸大小、标准化在内的数据预处理操作；S3：使用步骤S2获取到的预处理后训练样本集和验证样本集对神经网络模型进行训练、验证，并保存训练完成后的神经网络模型；S4：将步骤S2获取到的预处理后测试样本集输入到步骤S3已训练完成的神经网络模型中，得到结肠镜息肉图像粗分割结果；S5：对步骤S4获取到的结肠镜息肉图像粗分割结果，采用包括全连接条件随机场、孔洞填充算法在内的图像后处理操作，进一步细化并得到结肠镜息肉图像分割最终结果。2.根据权利要求1所述的基于CNN和Transformer融合的结肠镜息肉图像分割方法，其特征在于，所述步骤S2中对步骤S1划分好的样本集调整为352
×
352，进一步采用多尺度训练策略按{0.75，1，1.25}缩放系数将样本集图像随机调整为264
×
264、352
×
352和440
×
440大小；对调整后的每个样本进行均值方差标准化操作。3.根据权利要求1所述的基于CNN和Transformer融合的结肠镜息肉图像分割方法，其特征在于，所述步骤S3中的神经网络模型为CNN和Transformer神经网络融合模型，具体为：在CNN和Transformer神经网络融合模型编码部分，将获取到的预处理后样本集分别输入到预先训练好的CNN模型和Transformer模型中，以从局部和全局两个视角对结肠镜下息肉图像进行特征提取，并将同一层次的CNN和Transformer分支编码特征均输入到双分支融合模块，利用多尺度策略和注意力机制来弥补两分支间的语义鸿沟问题，生成兼具CNN和Transformer双分支各自优势的融合编码特征；在CNN和Transformer神经网络融合模型解码部分，将编码部分中获取到的不同层次双分支融合特征输入到渐进式注意力解码模块，获得逐层高级语义信息指导后的解码特征，并对解码特征使用1
×
1卷积和Sigmoid激活层，计算得到结肠镜图像中每个像素属于息肉区域的分类概率。4.根据权利要求3所述的基于CNN和Transformer融合的结肠镜息肉图像分割方法，其特征在于，所述CNN和Transformer神经网络融合模型编码部分中双分支融合模块，具体为：利用公式捕获来自不同尺度的信息，并将不同尺度分支流的信息进行整合以形成多尺度特征信息描述符；其中，c
i
表示CNN分支编码的特征；t
i
表示Transformer分支编码的特征；f
rfb
(
·
)表示RFB策略，用于进行多尺度特征学习；表示矩阵乘法；Concat(
·
)表示特征拼接；利用公式和将获取到的多尺度特征信息描述符加权于CNN和Transformer分支编码特征，此时CNN和Transformer分支编码特征通过多尺度上下文信息加权，缓解了因两者学习范式差异而产生的巨大语义鸿沟，生成了兼具两者特性加...

【专利技术属性】
技术研发人员：胡凯，黄扬林，张园，高协平，
申请(专利权)人：湘潭大学，
类型：发明
国别省市：