【技术实现步骤摘要】
本专利技术涉及图像处理，具体涉及一种基于transformer的肠胃道内窥镜图像分类和分割方法。
技术介绍
1、目前，肠胃道内窥镜筛查是相关肠胃道疾病的常用诊断技术。但是，肠胃道内窥镜筛查需要由经验丰富的内窥镜医师操作。在接受肠胃道内窥镜诊断的患者中，大约20％的息肉被遗漏诊断。另外，经验丰富的内窥镜医生可以使用窄带成像胃镜检查检测食管鳞状黏膜高级别肿瘤的敏感度可以达到100％，而缺乏经验的内窥镜医生的敏感度仅为69％。因此，帮助内窥镜医生，尤其是经验较少的医生，诊断病变的有效方法是利用人工智能技术自动检测它们。
2、随着卷积神经网络在自然图像应用中的巨大成功，越来越多的基于卷积神经网络的方法被提出用于医学图像的医学诊断，它们的性能优于传统方法。目前著名的医疗应用包括前列腺癌分割、皮肤病变分析、乳腺肿瘤分割等。受卷积神经网络相关方法在其他医学图像中成功应用的启发，在肠胃道病变分析中也使用了一些基于卷积神经网络的方法。
3、然而，由于卷积操作的限制，这些基于卷积神经网络的模型有一个共同的缺点，它们无法学习全局特征(远程依赖)。然而，这些全局特征对于实现更准确的肠胃道病变分类和分割是必要的，因为它们可以有效地区分病变区域并查明它们的边界。首先，内镜下不同类型的(息肉、癌症和法线)图像都有相似的颜色、纹理和形状。其次，病变(息肉和癌症)具有不同的大小和形状。最后，病变组织和正常组织之间没有明确的边界。因此，这些问题妨碍了卷积神经网络方法性能的进一步提高。
4、最近，transformer用于机器翻译
技术实现思路
1、本专利技术的目的提出的一种基于transformer的肠胃道内窥镜图像分类和分割方法，以解决上述现有技术中存在的至少一个技术问题。
2、为了实现上述目的，本专利技术采用了如下技术方案：
3、一种基于transformer的肠胃道内窥镜图像分类和分割方法，包括如下步骤：
4、将待处理的肠胃道内窥镜图像输入至已训练的transmt-net模型中，首先使用残差块来生成捕获局部信息的特征图，然后使用transformer块来提取全局特征；
5、在进入分类和分割子网络之前，使用特征重塑模块将transformer块的输出大小重塑为适合cnn输入的特征图大小；
6、在任务特定层，分类任务的子网络采用自适应池化和全连接，将肠胃道病变分为三种类型：息肉、癌症和正常，从而确定所述待处理肠胃道内窥镜图像的最终病变类别；
7、在分割任务的子网络中，使用解码器块、跳跃连接和分割输出来逐步生成分割区域得到所述待处理肠胃道内窥镜图像中的病变区域。
8、优选地，所提出的transmt-net由共享层和特定任务层组成，所述共享层由5个残差块、1个线性投影模块、1个transformer块和1个特征重塑模块组成，其中每个残差块中包含2个卷积层，卷积核大小为3×3；transformer块中包含6个transformer层；
9、具体地说，给定一个输入的肠胃道内窥镜图像具有h高度，w宽度，以及c通道，共享层首先使用残差块来生成捕获局部信息的特征图，然后使用transformer块来提取全局特征，线性投影用于将特征图转换为适合transformer输入的路径，在进入特定任务层之前，使用特征重塑模块将transformer块的输出大小重塑为适合cnn输入的特征图大小。
10、优选地，所述将待处理肠胃道内窥镜图像输入至已训练的模型，得到所述待处理肠胃道内窥镜图像的病变类别包括：
11、将待处理肠胃道内窥镜图像输入至已训练的模型中，共享层提取全局特征和局部特征，并使用特征重塑模块将transformer块的输出大小重塑为适合cnn输入的特征图大小；
12、对于输入的特征图，通过自适应池化层和全连接层，将肠胃道内窥镜图像进行分类；
13、确定所有病变类别的概率值中概率值最大的病变类别为所述待处理肠胃道内窥镜图像的病变类别。
14、优选地，所述将待处理肠胃道内窥镜图像输入至已训练的模型，得到所述待处理肠胃道内窥镜图像的分割结果包括：
15、将待处理肠胃道内窥镜图像输入至已训练的模型中，共享层提取全局特征和局部特征，并使用特征重塑模块将transformer块的输出大小重塑为适合cnn输入的特征图大小；
16、对于输入的特征图，采用解码器块、跳跃连接和分割输出，逐渐生成具有高度h、宽度w和通道数c的分割区域，解码器块包括2×2反卷积和3×3双卷积。
17、优选地，所述模型训练过程包括：
18、将所述训练数据集输入到模型中，输出所述训练数据集中各内窥镜样本图像的病变区域；
19、将所述训练数据集中各内窥镜样本图像的病变区域与标签指示的病变区域进行比较，得到差异信息；
20、采用图像分类任务中最常用的交叉熵损失函数作为肠胃道病变分类任务的损失函数；
21、采用改进的dice系数损失函数作为肠胃道内窥镜图像分割任务的损失函数；
22、所述transmt-net是一个多任务网络，总损失函数由交叉熵损失函数与dice系数损失函数的和表示，进行模型反向传播，得到已训练的所述分类和分割模型。
23、优选地，所述将待处理肠胃道内窥镜图像输入至模型之前还包括：
24、采用测试数据集测试所述已训练的模型的分类性能和分割性能。
25、优选地，所述病变类型确定和病变区域划分的装置包括：
26、共享层，用于将待处理的肠胃道内窥镜图像输入至已训练的transmt-net模型中，首先使用残差块来生成捕获局部信息的特征图，然后使用transformer块来提取全局特征；
27、特定任务层，用于将待处理肠胃道内窥镜图像输入至已训练的模型，得到所述待处理肠胃道内窥镜图像的病变类别，其中，所述模型是使用训练数据集训练得到的；
28、特定任务层，使用已训练的模型对所述待处理肠胃道内窥镜图像进行语义分割，得到所述待处理肠胃道内窥镜图像中的病变区域。
29、与本文档来自技高网...
【技术保护点】
1.一种基于transformer的肠胃道内窥镜图像分类和分割方法，其特征在于，包括如下步骤：
2.根据权利要求1所述的一种基于transformer的肠胃道内窥镜图像分类和分割方法，其特征在于：所述TransMT-Net模型由共享层和特定任务层组成，所述共享层由5个残差块、1个线性投影模块、1个transformer块和1个特征重塑模块组成，其中每个残差块中包含2个卷积层，卷积核大小为3×3；transformer块中包含6个transformer层；
3.根据权利要求1所述的一种基于transformer的肠胃道内窥镜图像分类和分割方法，其特征在于：所述将待处理肠胃道内窥镜图像输入至已训练的模型，得到所述待处理肠胃道内窥镜图像的病变类别包括：
4.根据权利要求1所述的一种基于transformer的肠胃道内窥镜图像分类和分割方法，其特征在于：所述将待处理肠胃道内窥镜图像输入至已训练的模型，得到所述待处理肠胃道内窥镜图像的分割结果包括：
5.根据权利要求1所述的一种基于transformer的肠胃道内窥镜图像分类和分割方法，其特征
6.根据权利要求1所述的一种基于transformer的肠胃道内窥镜图像分类和分割方法，其特征在于：所述将待处理肠胃道内窥镜图像输入至模型之前还包括：
7.根据权利要求1所述的一种基于transformer的肠胃道内窥镜图像分类和分割方法，其特征在于：所述病变类型确定和病变区域划分的装置包括：
...【技术特征摘要】
1.一种基于transformer的肠胃道内窥镜图像分类和分割方法，其特征在于，包括如下步骤：
2.根据权利要求1所述的一种基于transformer的肠胃道内窥镜图像分类和分割方法，其特征在于：所述transmt-net模型由共享层和特定任务层组成，所述共享层由5个残差块、1个线性投影模块、1个transformer块和1个特征重塑模块组成，其中每个残差块中包含2个卷积层，卷积核大小为3×3；transformer块中包含6个transformer层；
3.根据权利要求1所述的一种基于transformer的肠胃道内窥镜图像分类和分割方法，其特征在于：所述将待处理肠胃道内窥镜图像输入至已训练的模型，得到所述待处理肠胃道内窥镜图像的病变类别...
【专利技术属性】
技术研发人员：唐穗谷，刘华珠，林俊辉，赵晓芳，陈雪芳，郑泽峰，
申请(专利权)人：东莞理工学院，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。