一种基于transformer的肠胃道内窥镜图像分类和分割方法技术

一种基于transformer的肠胃道内窥镜图像分类和分割方法，包括如下步骤：将待处理的肠胃道内窥镜图像输入至已训练的TransMT‑Net模型中，首先使用残差块来生成捕获局部信息的特征图，然后使用transformer块来提取全局特征；在进入分类和分割子网络之前，使用特征重塑模块将transformer块的输出大小重塑为适合CNN输入的特征图大小；在任务特定层，分类任务的子网络采用自适应池化和全连接，将肠胃道病变分为三种类型：息肉、癌症和正常，从而确定所述待处理肠胃道内窥镜图像的最终病变类别；在分割任务的子网络中，使用解码器块、跳跃连接和分割输出来逐步生成分割区域得到所述待处理肠胃道内窥镜图像中的病变区域。本发明专利技术能够准确地识别肠胃道内窥镜图像中的病变类型和区域。

【技术实现步骤摘要】

本专利技术涉及图像处理，具体涉及一种基于transformer的肠胃道内窥镜图像分类和分割方法。

技术介绍

1、目前，肠胃道内窥镜筛查是相关肠胃道疾病的常用诊断技术。但是，肠胃道内窥镜筛查需要由经验丰富的内窥镜医师操作。在接受肠胃道内窥镜诊断的患者中，大约20％的息肉被遗漏诊断。另外，经验丰富的内窥镜医生可以使用窄带成像胃镜检查检测食管鳞状黏膜高级别肿瘤的敏感度可以达到100％，而缺乏经验的内窥镜医生的敏感度仅为69％。因此，帮助内窥镜医生，尤其是经验较少的医生，诊断病变的有效方法是利用人工智能技术自动检测它们。

2、随着卷积神经网络在自然图像应用中的巨大成功，越来越多的基于卷积神经网络的方法被提出用于医学图像的医学诊断，它们的性能优于传统方法。目前著名的医疗应用包括前列腺癌分割、皮肤病变分析、乳腺肿瘤分割等。受卷积神经网络相关方法在其他医学图像中成功应用的启发，在肠胃道病变分析中也使用了一些基于卷积神经网络的方法。

3、然而，由于卷积操作的限制，这些基于卷积神经网络的模型有一个共同的缺点，它们无法学习全局特征(远程依赖)。然而，这本文档来自技高网...

【技术保护点】

1.一种基于transformer的肠胃道内窥镜图像分类和分割方法，其特征在于，包括如下步骤：

2.根据权利要求1所述的一种基于transformer的肠胃道内窥镜图像分类和分割方法，其特征在于：所述TransMT-Net模型由共享层和特定任务层组成，所述共享层由5个残差块、1个线性投影模块、1个transformer块和1个特征重塑模块组成，其中每个残差块中包含2个卷积层，卷积核大小为3×3；transformer块中包含6个transformer层；

3.根据权利要求1所述的一种基于transformer的肠胃道内窥镜图像分类和分割方法，其特征在于：所述将待处...

【技术特征摘要】

1.一种基于transformer的肠胃道内窥镜图像分类和分割方法，其特征在于，包括如下步骤：

2.根据权利要求1所述的一种基于transformer的肠胃道内窥镜图像分类和分割方法，其特征在于：所述transmt-net模型由共享层和特定任务层组成，所述共享层由5个残差块、1个线性投影模块、1个transformer块和1个特征重塑模块组成，其中每个残差块中包含2个卷积层，卷积核大小为3×3；transformer块中包含6个transformer层；

3.根据权利要求1所述的一种基于transformer的肠胃道内窥镜图像分类和分割方法，其特征在于：所述将待处理肠胃道内窥镜图像输入至已训练的模型，得到所述待处理肠胃道内窥镜图像的病变类别...

【专利技术属性】
技术研发人员：唐穗谷，刘华珠，林俊辉，赵晓芳，陈雪芳，郑泽峰，
申请(专利权)人：东莞理工学院，
类型：发明
国别省市：