一种基于多任务学习的胃部疾病图片分类系统技术方案

本发明专利技术公开了一种基于多任务学习的胃部疾病图片分类系统，包括：数据采集模块，用于采集图片并分别制作数据集；第一特征处理模块，用于得到第一图片特征；第二特征处理模块，用于得到第二图片特征；辅助疾病分类模块，用于利用第一图片特征训练辅助疾病分类器，并将第二图片特征输入辅助疾病分类器，得到患病概率；第三特征处理模块，用于将患病概率与第二图片特征通过逐元素乘法进行融合，得到第三图片特征；胃部疾病分类模块，用于利用第三图片特征训练胃部疾病分类器，并将胃部疾病图片测试集输入训练好的胃部疾病分类器，得到胃部疾病图片分类结果。本发明专利技术利用疾病之间的相似性，通过多任务人工智能模型，提升胃部图片的多标签分类识别率。多标签分类识别率。多标签分类识别率。

A multi task learning based image classification system for gastric diseases

【技术实现步骤摘要】
一种基于多任务学习的胃部疾病图片分类系统


[0001]本专利技术涉及图像识别
，具体涉及一种基于多任务学习的胃部疾病图片分类系统。

技术介绍

[0002]胃部疾病是发生在胃部的器质性或功能性疾病，病因十分复杂，包括理化刺激、感染、毒素、遗传、精神因素、发育障碍、手术影响等。临床上常见的有胃炎、胃息肉、胃溃疡、胃癌、胆汁反流和胃出血等。早期胃部疾病没有明显症状，因此易被人们忽略。当胃出现病变时，胃的分泌和运动功能出现障碍，可影响消化吸收，有时还会引起贫血、消瘦乃至危及生命。在临床上，消化系统疾病最为多见，其中又以胃部疾病最多。医生通过胃部图片分析诊断胃部疾病会耗费医生的时间和精力。基于人工智能技术的胃部图片分类方法可以辅助医生做出更准确的判断，并且可以减低医生漏掉可疑的早期胃癌的概率。
[0003]在人工智能领域，基于单图片的分类方法通常被用于胃部图片是否包含胃部疾病的判断。这种人工智能方法是使用计算机视觉和机器学习算法从单个图像中提取含义的过程。目前最为广泛的人工智能方法是将该问题建模为输入一张图像，采用一种常规的分类算法，输出多个疾病的标签。
[0004]但是，现有模型常常处理模型输入为单张图片的情况，而忽略了多张图片作为输入的情况；其次，由于专业人员标注带有胃部疾病标签的图片成本较高，导致现有包含胃部疾病的标注图片数量较少；此外，现有模型只利用了胃部疾病图片，而无法利用其他的相关资源。因此，现有的基于胃部图片的多标签分类技术的识别率不够高。

技术实现思路

[0005]本专利技术的目的是提供一种基于多任务学习的胃部疾病图片分类系统，利用疾病之间的相似性，通过多任务人工智能模型，提升胃部图片的多标签分类识别率。
[0006]为了解决上述技术问题，本专利技术提供了一种基于多任务学习的胃部疾病图片分类系统，包括：数据采集模块，用于采集图片并分别制作食管肿瘤图片数据集、十二指肠溃疡图片数据集和胃部疾病图片数据集；其中，所述胃部疾病图片数据集包括胃部疾病图片训练集和胃部疾病图片测试集，所述食管肿瘤图片数据集、十二指肠溃疡图片数据集和胃部疾病图片训练集中的图片均已标注相应疾病类别；第一特征处理模块，用于提取所述食管肿瘤图片数据集和十二指肠溃疡图片数据集中的图片特征，得到第一图片特征；第二特征处理模块，用于提取所述胃部疾病图片训练集中的图片特征，得到第二图片特征；辅助疾病分类模块，用于利用第一图片特征训练辅助疾病分类器，并将第二图片特征输入训练好的辅助疾病分类器，得到胃部疾病图片关于辅助疾病的分类概率；
第三特征处理模块，用于将所述分类概率与第二图片特征通过逐元素乘法进行融合，得到第三图片特征；胃部疾病分类模块，用于利用第三图片特征训练胃部疾病分类器，并将胃部疾病图片测试集输入训练好的胃部疾病分类器，得到胃部疾病图片分类结果。
[0007]作为本专利技术的进一步改进，所述食管肿瘤图片数据集、十二指肠溃疡图片数据集和胃部疾病图片数据集中包括若干样本，每个样本里包括n张图片。
[0008]作为本专利技术的进一步改进，所述第一特征处理模块包括第一图片预处理模块，所述第一图片预处理模块包括：第一特征提取器，用于对食管肿瘤图片数据集和十二指肠溃疡图片数据集中任一样本里的图片进行特征提取，获得图片特征；第一特征分割模块，用于将图片特征进行分块，得到特征分割后的图片区域集合；第一特征序列化模块，用于将中的所有区域依次进行拼接，成为一个序列。
[0009]作为本专利技术的进一步改进，所述第二特征处理模块包括第二图片预处理模块，所述第二图片预处理模块包括：第二特征提取器，用于对胃部疾病图片训练集中任一样本里的图片进行特征提取，获得图片特征；第二特征分割模块，用于将图片特征进行分块，得到特征分割后的图片区域集合；第二特征序列化模块，用于将中的所有区域依次进行拼接，成为一个序列。
[0010]作为本专利技术的进一步改进，所述辅助疾病分类器包括：第一Encoder层，采用预训练的Vision Transformer框架，每个区域的像素值加上该区域在整个序列中的位置嵌入经过Encoder层，通过Vision Transformer框架的多头注意力机制学习，获得每个区域的中间表示；第一特征池化模块，用于将第一Encoder层输出的特征经过特征池化获得图片的终极表示；第一全连接层，采用（softmax）进行分类：其中，和表示第一全连接层中的可学习的权重和偏置，表示辅助疾病分类器输出的分类概率。
[0011]作为本专利技术的进一步改进，所述辅助疾病分类器的训练优化目标：其中，表示食管肿瘤图片数据集、十二指肠溃疡图片数据集中图片的真实辅助
疾病标签和辅助疾病分类器输出预测结果之间的交叉熵损失；表示真实辅助疾病标签中第j个元素，表示辅助疾病分类器输出预测结果概率中第j个元素，表示辅助疾病总类别数量。
[0012]作为本专利技术的进一步改进，所述辅助疾病分类模块将序列输入训练好的辅助疾病分类器，得到胃部疾病图片关于辅助疾病的分类概率。
[0013]作为本专利技术的进一步改进，所述第三特征处理模块包括：矩阵转换模块，用于将分类概率扩展为患病矩阵：其中，表示患病矩阵中第i行j列的元素，表示分类概率中预测为疾病类别c的概率，c属于，为多个图片所有区域的个数，为第一Encoder层的维度，即，的行维度为，列维度为；特征融合模块，将序列和图片对应的患病矩阵进行逐元素乘法，同时加上序列，从而获得最终的图片特征表示：其中，表示不同疾病类别的相关系数，属于，*表示普通乘法，表示两个矩阵对应元素相乘。
[0014]作为本专利技术的进一步改进，所述胃部疾病分类器包括：第二Encoder层，采用预训练的Vision Transformer框架，每个区域的像素值加上该区域在整个序列中的位置嵌入经过Encoder层，通过Vision Transformer框架的多头注意力机制学习，获得每个区域的中间表示；第二特征池化模块，用于将第二Encoder层输出的特征经过特征池化获得图片的终极表示；第二全连接层，采用（sigmoid）进行分类：其中，和表示第二全连接层中的可学习的权重和偏置；表示胃部疾病每个标签分类概率的集合。
[0015]作为本专利技术的进一步改进，所述胃部疾病分类器的训练优化目标：
其中，表示胃部疾病图片数据集中图片的真实胃部疾病标签和胃部疾病分类器输出预测结果之间的二分类交叉熵损失；表示真实胃部疾病标签中第j个元素，表示胃部疾病分类器输出预测结果概率中第j个元素；表示胃部疾病类别数量。
[0016]本专利技术的有益效果：本专利技术解决现有技术的缺陷，利用疾病之间的相关性，使用食管肿瘤预测结果和十二指肠溃疡预测结果辅助胃部疾病的预测，通过相关任务（食管疾病和十二指肠溃疡等非胃部疾病）的预测结果辅助现有胃部疾病的预测，从而提升基于胃部图片的多标签分类技术的识别准确率；本专利技术可以处理一个病例的多图片输入；同时，本专利技术采用多任务的人工智能模型：辅助疾病分类器和胃部疾病分类器，实际也能预测辅助疾病的类别，起到双赢的作用；本专利技术采本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多任务学习的胃部疾病图片分类系统，其特征在于：包括：数据采集模块，用于采集图片并分别制作食管肿瘤图片数据集、十二指肠溃疡图片数据集和胃部疾病图片数据集；其中，所述胃部疾病图片数据集包括胃部疾病图片训练集和胃部疾病图片测试集，所述食管肿瘤图片数据集、十二指肠溃疡图片数据集和胃部疾病图片训练集中的图片均已标注相应疾病类别；第一特征处理模块，用于提取所述食管肿瘤图片数据集和十二指肠溃疡图片数据集中的图片特征，得到第一图片特征；第二特征处理模块，用于提取所述胃部疾病图片训练集中的图片特征，得到第二图片特征；辅助疾病分类模块，用于利用第一图片特征训练辅助疾病分类器，并将第二图片特征输入训练好的辅助疾病分类器，得到胃部疾病图片关于辅助疾病的分类概率；第三特征处理模块，用于将所述分类概率与第二图片特征通过逐元素乘法进行融合，得到第三图片特征；胃部疾病分类模块，用于利用第三图片特征训练胃部疾病分类器，并将胃部疾病图片测试集输入训练好的胃部疾病分类器，得到胃部疾病图片分类结果。2.如权利要求1所述的一种基于多任务学习的胃部疾病图片分类系统，其特征在于：所述食管肿瘤图片数据集、十二指肠溃疡图片数据集和胃部疾病图片数据集中包括若干样本，每个样本里包括n张图片。3.如权利要求2所述的一种基于多任务学习的胃部疾病图片分类系统，其特征在于：所述第一特征处理模块包括第一图片预处理模块，所述第一图片预处理模块包括：第一特征提取器，用于对食管肿瘤图片数据集和十二指肠溃疡图片数据集中任一样本里的图片进行特征提取，获得图片特征；第一特征分割模块，用于将图片特征进行分块，得到特征分割后的图片区域集合；第一特征序列化模块，用于将图片区域集合中的所有区域依次进行拼接，成为一个序列。4.如权利要求3所述的一种基于多任务学习的胃部疾病图片分类系统，其特征在于：所述第二特征处理模块包括第二图片预处理模块，所述第二图片预处理模块包括：第二特征提取器，用于对胃部疾病图片训练集中任一样本里的图片进行特征提取，获得图片特征；第二特征分割模块，用于将图片特征进行分块，得到特征分割后的图片区域集合；第二特征序列化模块，用于将图片区域集合中的所有区域依次进行拼接，成为一个序列。5.如权利要求4所述的一种基于多任务学习的胃部疾病图片分类系统，其特征在于：所述辅助疾病分类器包括：第一Encoder层，采用预训练的Vision Transformer框架，每个区域的像素值加上该区
域在整个序列中的位置嵌入经过Encoder层，通过Vision Transformer框架的多头注意力机制学...

【专利技术属性】
技术研发人员：戴捷，赖春晓，张希钢，鹿伟民，
申请(专利权)人：紫东信息科技苏州有限公司，
类型：发明
国别省市：