基于多任务辅助的上消化道病变区域确定方法及装置制造方法及图纸

本申请适用于图像处理技术领域，提供了一种基于多任务辅助的上消化道病变区域确定方法及装置，所述上消化道病变区域确定方法包括：将待处理上消化道内窥镜图像输入至已训练的分类模型，得到待处理上消化道内窥镜图像的初始病变类别；使用检索模型对待处理上消化道内窥镜图像进行检索，从训练数据集中选取与待处理上消化道内窥镜图像具有相似特征的第一子数据集；根据第一子数据集中的内窥镜样本图像的病变类别和所述初始病变类别，确定待处理上消化道内窥镜图像的最终病变类别；若最终病变类别属于预设病变类别，则使用已训练的分割模型分割出待处理上消化道内窥镜图像中的病变区域上述方法可以更高效地确定出病变区域。变区域上述方法可以更高效地确定出病变区域。变区域上述方法可以更高效地确定出病变区域。

【技术实现步骤摘要】
基于多任务辅助的上消化道病变区域确定方法及装置


[0001]本申请属于图像处理
，尤其涉及一种基于多任务辅助的上消化道病变区域确定方法及装置。

技术介绍

[0002]上消化道疾病是人类最常见的疾病之一，尤其是上消化道癌严重危害了人体的健康，根据世界卫生组织公布的《2020年全球癌症统计数据》，发病率排名前十的肿瘤中有2个来自上消化道，死亡率排名前十的肿瘤中也有2个来自上消化道，分别为胃癌和食管癌，这些来自上消化道的疾病不仅严重威胁着患者的生活质量和生命安全，还给全球带来了巨大的卫生负担。众所周知，上消化道癌在早期的治愈率远高于在晚期的治愈率，因此内窥镜医师能够根据内窥镜图像诊断出早期病症对患者十分重要。
[0003]然而，在内窥镜医师根据内窥镜图像对早期病症进行诊断时，获取内窥镜图像中的病变区域是十分重要的，目前的内窥镜医师在根据内窥镜图像进行诊断时仍存在许多问题，例如每次内窥镜检查都会产生大量的内窥镜图像，而内窥镜医师人工检查速度慢且效率低，确定病变区域需要的时间较久，十分依赖于内窥镜医师的经验和精神状态，这种人工检测方法不仅影响诊断速度还会使诊断存在较高的漏诊率和误诊率。
[0004]因此，如何更高效地确定上消化道病变区域成为了一个急需解决的重要问题。

技术实现思路

[0005]本申请实施例提供了一种基于多任务辅助的上消化道病变区域确定方法及装置，可以更高效地确定病变区域。
[0006]本申请实施例的第一方面提供了一种基于多任务辅助的上消化道病变区域确定方法，所述病变区域确定方法包括：
[0007]将待处理上消化道内窥镜图像输入至已训练的分类模型，得到所述待处理上消化道内窥镜图像的初始病变类别，其中，所述分类模型是使用训练数据集训练得到的；
[0008]使用检索模型对所述待处理上消化道内窥镜图像进行检索，从所述训练数据集中选取与所述待处理上消化道内窥镜图像具有相似特征的第一子数据集；
[0009]根据所述第一子数据集中的内窥镜样本图像的病变类别和所述初始病变类别，确定所述待处理上消化道内窥镜图像的最终病变类别；
[0010]若所述最终病变类别属于预设病变类别，则使用已训练的分割模型对所述待处理上消化道内窥镜图像进行语义分割，得到所述待处理上消化道内窥镜图像中的病变区域。
[0011]本申请实施例的第二方面提供了一种基于多任务辅助的上消化道病变区域确定装置，所述病变区域确定装置包括：
[0012]分类模块，用于将待处理上消化道内窥镜图像输入至已训练的分类模型，得到所述待处理上消化道内窥镜图像的初始病变类别，其中，所述分类模型是使用训练数据集训练得到的；
[0013]检索模块，使用检索模型对所述待处理上消化道内窥镜图像进行检索，从所述训练数据集中选取与所述待处理上消化道内窥镜图像具有相似特征的第一子数据集；
[0014]类别确定模块，用于根据所述第一子数据集中的内窥镜样本图像的病变类别和所述初始病变类别，确定所述待处理上消化道内窥镜图像的最终病变类别；
[0015]分割模块，用于若所述最终病变类别属于预设病变类别，则使用已训练的分割模型对所述待处理上消化道内窥镜图像进行语义分割，得到所述待处理上消化道内窥镜图像中的病变区域。
[0016]本申请实施例的第三方面提供了一种终端设备，包括：存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述第一方面所述的基于多任务辅助的上消化道病变区域确定方法。
[0017]本申请实施例的第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述第一方面所述的基于多任务辅助的上消化道病变区域确定方法。
[0018]本申请实施例的第五方面提供了一种计算机程序产品，当所述计算机程序产品在终端设备上运行时，使得所述终端设备执行上述第一方面所述的基于多任务辅助的上消化道病变区域确定方法。
[0019]在本申请实施例中：通过将待处理上消化道内窥镜图像输入至已训练的分类模型，获取待处理上消化道内窥镜图像的初始病变类别，再通过检索模型对待处理上消化道内窥镜图像进行检索，从训练数据集中选取与待处理上消化道内窥镜图像具有相似特征的第一子数据集，由于第一子数据集中的内窥镜样本图像已正确标注了病变类别，可以根据第一子数据集中的内窥镜样本图像的病变类别和初始病变类别，确定待处理上消化道内窥镜图像的最终病变类别，便于内窥镜医师对内窥镜图像进行初步的诊断，若初步诊断得到的病变类别属于预设病变类别，则使用已训练的分割模型对待处理上消化道内窥镜图像进行语义分割，得到待处理上消化道内窥镜图像中的病变区域，本申请的技术方案对待处理上消化道内窥镜图像进行分类、图像检索以及分割任务，并通过执行上述三个任务减少了内窥镜医师人工对大量内窥镜图像进行检查的过程，节约了时间和精力，从而更高效地确定出病变区域。
附图说明
[0020]为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
[0021]图1是本申请实施例一提供的一种基于多任务辅助的上消化道病变区域确定方法的流程示意图；
[0022]图2是训练数据集和测试测试数据集执行不同任务的流程示意图；
[0023]图3是待处理上消化道内窥镜图像的分类与检索结果图；
[0024]图4是待处理上消化道内窥镜图像的分割结果图；
[0025]图5是本申请实施例一的基于多任务辅助的上消化道病变区域确定方法的结果显
示图；
[0026]图6是本申请实施例二提供的一种基于多任务辅助的上消化道病变区域确定方法的流程示意图；
[0027]图7是基于多任务辅助的上消化道病变区域确定方法的混淆矩阵图；
[0028]图8是基于多任务辅助的上消化道病变区域确定方法的ROC(受试者工作特征)曲线图；
[0029]图9是本申请实施例三提供的一种基于多任务辅助的上消化道病变区域确定装置的结构示意图。
具体实施方式
[0030]以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本申请实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中，省略对众所周知的系统以及方法的详细说明，以免不必要的细节妨碍本申请的描述。
[0031]应当理解，当在本申请说明书和所附权利要求书中使用时，术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
[0032]还应当理解，在本申请说明书和所附权利要求书中使用本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多任务辅助的上消化道病变区域确定方法，其特征在于，所述病变区域确定方法包括：将待处理上消化道内窥镜图像输入至已训练的分类模型，得到所述待处理上消化道内窥镜图像的初始病变类别，其中，所述分类模型是使用训练数据集训练得到的；使用检索模型对所述待处理上消化道内窥镜图像进行检索，从所述训练数据集中选取与所述待处理上消化道内窥镜图像具有相似特征的第一子数据集；根据所述第一子数据集中的内窥镜样本图像的病变类别和所述初始病变类别，确定所述待处理上消化道内窥镜图像的最终病变类别；若所述最终病变类别属于预设病变类别，则使用已训练的分割模型对所述待处理上消化道内窥镜图像进行语义分割，得到所述待处理上消化道内窥镜图像中的病变区域。2.如权利要求1所述的上消化道病变区域确定方法，其特征在于，所述分类模型包括第一输入层、16个第一卷积层、3个第一全连接层、5个第一最大池化层以及第一输出层，其中，卷积层的卷积核大小为3
×
3，最大池化层的窗口大小是2
×
2，所述训练数据集包括具有第一标签的N张内窥镜样本图像，所述第一标签用于指示各内窥镜样本图像的病变类别，N为大于零的整数，所述分类模型的训练过程包括：将所述训练数据集输入到分类模型中，通过所述第一输出层输出所述训练数据集中各内窥镜样本图像的病变类别，其中所述分类模型中的输出层为包含M个神经元的全连接层，所述M个神经元表示M个病变类别，M为大于零的整数；将所述训练数据集中各内窥镜样本图像的病变类别与所述第一标签指示的病变类别进行比较，得到第一差异信息；基于所述第一差异信息，采用focal loss函数对所述分类模型进行模型反向传播，得到已训练的所述分类模型。3.如权利要求2所述的上消化道病变区域确定方法，其特征在于，所述将待处理上消化道内窥镜图像输入至已训练的分类模型，得到所述待处理上消化道内窥镜图像的初始病变类别包括：将待处理上消化道内窥镜图像输入至已训练的分类模型中，对所述待处理上消化道内窥镜图像进行分类；使用Softmax函数计算所述待处理上消化道内窥镜图像属于各病变类别的概率值；确定所有病变类别的概率值中概率值最大的病变类别为所述待处理上消化道内窥镜图像的初始病变类别。4.如权利要求1所述的上消化道病变区域确定方法，其特征在于，所述检索模型共享了分类模型，其中所述检索模型共享了分类模型是指所述检索模型在分类模型的基础上增加了图像检索层，所述图像检索层位于所述分类模型的输出层之前且紧邻所述分类模型的输出层，所述图像检索层包括一个全连接层与Sigmoid函数，使用检索模型对所述待处理上消化道内窥镜图像进行检索，从所述训练数据集中选取与所述待处理上消化道内窥镜图像具有相似特征的第一子数据集包括：基于所述图像检索层输出的图像特征中提取的图像特征，确定所述待处理上消化道内窥镜图像的图像特征；根据所述待处理上消化道内窥镜图像的图像特征，确定所述待处理上消化道内窥镜图
像的编码值；根据训练数据集中各内窥镜样本图像的图像特征，确定所述训练数据集中各内窥镜样本图像的编码值；计算所述待处理上消化道内窥镜图像的编码值与所述训练数据集中各内窥镜样本图像的编码值之间的汉明距离；根据所述汉明距离，从所述训练数据集中确定候选数据集，所述候选数据集中各内窥镜样本图像的编码值与所述待处理上消化道内窥镜图像的编码值之间的汉明距离小于距离阈值；计算所述待处理上消化道内窥镜图像与所述候选数据集中各内窥镜样本图像之间的欧氏距离；按照所述欧氏距离从小到大的排名，从所述候选数据集中选取与所述待处理上消化道...

【专利技术属性】
技术研发人员：郑泽峰，唐穗谷，梁延研，于晓渊，余汉濠，徐义祥，
申请(专利权)人：澳门科技大学，
类型：发明
国别省市：