基于组块对抗的零样本胃溃疡分类系统技术方案

本发明专利技术涉及一种基于组块对抗的零样本胃溃疡分类系统，包括：数据处理模块获取有标注的十二指肠溃疡病例和未标注的胃溃疡病例作为训练集，特征提取模块提取图片和血液检验指标的特征；组块对抗模块包括编码器和判别器，编码器融合映射图片和血液检验指标的特征得到高阶池化特征、并和编码器进行对抗；分类模块根据高阶池化特征得到分类结果，训练模块使用训练集训练特征提取器、编码器、判别器和分类器，预测模块获取待测胃溃疡病例输入训练完成的特征提取器、编码器、判别器和分类器得到胃溃疡分类结果。本发明专利技术可以充分提取病例中的图片和血液检验指标的特征、有效利用相似疾病更加准确的捕捉胃溃疡相关的特征，为医生提供诊断参考。诊断参考。诊断参考。

【技术实现步骤摘要】
基于组块对抗的零样本胃溃疡分类系统


[0001]本专利技术涉及医学图像处理
，尤其是指一种基于组块对抗的零样本胃溃疡分类系统。

技术介绍

[0002]消化性溃疡，又称胃及十二指肠溃疡。这是指胃、小肠前段（十二指肠）或幽门，有时也包含了食道下端的黏膜损伤（溃疡）。在胃发生的溃疡称作胃溃疡，在小肠的开头部分所发生的溃疡则是十二指肠溃疡。最常见的症状是因为吃东西而引起的上腹痛，或者晚上因肚子痛而醒来。胃溃疡的疼痛大多被用“烧灼感”或“闷痛”描述，其他常见的症状还包括打嗝、呕吐、不明原因的体重减轻、或是胃口不佳，但年纪较大的患者中约有三分之一完全没有症状。胃溃疡若不处理，可能会演变成出血、消化道穿孔、或是胃出口阻塞，出血的发生率约为15%。胃溃疡的盛行率大约为4%，大约有10%的人会在一生中得过胃溃疡。医生通过胃部图片分析诊断胃溃疡会耗费医生的时间和精力，而基于人工智能技术的胃溃疡分类系统可以辅助医生更高效地对胃溃疡做出初步诊断。
[0003]在人工智能领域，基于单图片的方法通常被用于胃部图片是否包含胃溃疡疾病的诊断。这种人工智能方法是使用计算机视觉和机器学习算法从单个图像中提取含义的过程。目前最为广泛的人工智能方法是将该问题建模为输入一张图像，采用一种常规的分类算法，输出胃溃疡疾病诊断的二分类结果。
[0004]现有技术通常分为以下几个步骤：（1）专业人员标注大量带有胃溃疡标签的样本，每个样本包含胃溃疡图片及其血液检验指标，获得多个带有标注样本的标注语料；（2）基于深度学习网络（一般是多层卷积神经网络）训练标注语料，获得分类模型；（3）使用分类模型对未知标签的胃溃疡图片进行预测，获得该图片的胃溃疡诊断二分类结果。其中，第二步的深度学习网络一般采用的是卷积神经网络和基于注意力的Transformer（转换器）网络，如图1所示，包含编码器（Encoder）和全连接（FC）层。编码器负责提取图像的特征，编码器一般由一系列的卷积层、激活层、池化层、自注意力层等组成，常用的编码器包括Transformer网络、VGG（Visual Geometry Group，视觉几何组网络）、Residual Net（残差网络）、Dense Net（密集网络）和Efficient Net（效率网络）等。FC层负责将图像特征映射到图片的类别。输入一张图像，通过模型中一系列的卷积层、激活层、池化层、自注意力层等对图像进行编码得到图像的特征，最后通过全连接实现图像的分类，获得该图片的胃溃疡诊断二分类结果。
[0005]但是，现有技术也存在一些缺点，包括：（1）现有的胃溃疡分类系统仅能处理输入为单张图片的情况，无法处理多张图片组成的一个病例，并且完全忽略了血液检验指标作为胃溃疡诊断的辅助信息。实际上，白细胞、红细胞、血红蛋白、血小板含量等血液检验指标可以有效地辅助胃溃疡病症的识别。
[0006]（2）现有的诊断模型通常只利用胃部疾病图片，由于专业人员标注带有胃溃疡疾病标签的图片成本较高，导致现有包含胃溃疡疾病的标注图片数量较少，严重影响胃溃疡的识别性能。同时，这也是因为现有技术完全忽略了其他已有的、相关的、类似的疾病诊断
资源。例如，十二指肠溃疡疾病与胃溃疡疾病有许多相似之处（拍片症状相似），而且十二指肠溃疡的现有数据集相对较多。换句话说，如果一个模型可以有效地预测十二指肠溃疡出现的症状，那么这个模型很大概率可以比较准确地推断胃溃疡的疾病状态。不同部位疾病的具有相似性，这种相似性可以在不增加人力成本的前提下，通过相关任务（十二指肠溃疡等非胃部疾病）的预测结果辅助现有胃溃疡疾病的预测，从而提升胃溃疡检测技术的识别准确率；但是，现有技术完全忽略了不同部位疾病的相似性。
[0007]因此，现有的基于胃部图片的多标签分类技术的识别率不高。

技术实现思路

[0008]为此，本专利技术所要解决的技术问题在于克服现有技术中的不足，提供一种基于组块对抗的零样本胃溃疡分类系统，可以充分提取病例中的图片和血液检验指标的特征、有效利用相似疾病更加准确的捕捉胃溃疡相关的特征，从而为医生提供诊断参考。
[0009]为解决上述技术问题，本专利技术提供了一种基于组块对抗的零样本胃溃疡分类系统，包括：数据处理模块，所述数据处理模块获取有标注的十二指肠溃疡病例样本和未标注的胃溃疡病例样本作为训练集，所述十二指肠溃疡病例样本中的每个样本包括图片、图片所对应的血液检验指标和诊断类别标签，所述胃溃疡病例样本中的每个样本包括图片和图片所对应的血液检验指标；特征提取模块，所述特征提取模块包括特征提取器，所述特征提取器提取图片的特征和血液检验指标的特征；组块对抗模块，所述组块对抗模块包括编码器和判别器，所述编码器将所述图片的特征和血液检验指标的特征进行融合并映射到隐空间范围内得到胃溃疡疾病的高阶池化特征和十二指肠溃疡疾病的高阶池化特征，所述判别器和所述编码器根据所述胃溃疡疾病的高阶池化特征和十二指肠溃疡疾病的高阶池化特征进行对抗；分类模块，所述分类模块包括分类器，所述分类器根据所述胃溃疡疾病的高阶池化特征和十二指肠溃疡疾病的高阶池化特征得到分类结果；训练模块，所述训练模块使用所述训练集训练所述特征提取器、编码器、判别器和分类器得到训练完成的特征提取器、编码器、判别器和分类器；预测模块，所述预测模块获取待测的胃溃疡病例样本并输入所述训练完成的特征提取器、编码器、判别器和分类器中得到胃溃疡分类结果。
[0010]作为优选的，所述特征提取器提取图片的特征和血液检验指标的特征，具体为：所述特征提取器包括图片提取器和文本提取器，使用所述图片提取器提取所述有标注的十二指肠溃疡病例样本中的图片的特征和所述未标注的胃溃疡病例样本中的图片的特征，将所述和按照网格划分进行平均池化得到和；将所述血液检验指标转换成包括血液检测各项指标与对应的检测结果值组成的文本序列，使用所述文本提取器提取所述有标注的十二指肠溃疡病例样本中的文本序列的特征和所述未标注的胃溃疡病例样本中的文本序列的特征。
[0011]作为优选的，所述图片提取器为残差网络ResNet50，所述文本提取器为基于转换
器的双向编码表示网络。
[0012]作为优选的，所述编码器将所述图片的特征和血液检验指标的特征进行融合并映射到隐空间范围内得到胃溃疡疾病的高阶池化特征和十二指肠溃疡疾病的高阶池化特征，具体为：所述编码器使用注意力机制得到图片间的交互注意力权重，再使用注意力权重融合所述和得到胃溃疡疾病的高阶特征，所述胃溃疡疾病的高阶特征H经过特征池化得到所述胃溃疡疾病的高阶池化特征，表示第i个胃溃疡病例样本的高阶池化特征，n表示胃溃疡病例样本的数量；所述编码器使用注意力机制得到文本序列间的交互注意力权重，再使用注意力权重融合所述和得到十二指肠溃疡疾病的高阶特征，所述十二指肠溃疡疾病的高阶特征H
’
经过特征池化得到所述十二指肠溃疡疾病的高阶池化特征，表示第i个十二指肠溃疡病例样本的高阶池化特征，m表示十二指肠溃疡病例样本的数量。
[0013]作为优选的，所述编码器为基于转换器的编本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于组块对抗的零样本胃溃疡分类系统，其特征在于，包括：数据处理模块，所述数据处理模块获取有标注的十二指肠溃疡病例样本和未标注的胃溃疡病例样本作为训练集，所述十二指肠溃疡病例样本中的每个样本包括图片、图片所对应的血液检验指标和诊断类别标签，所述胃溃疡病例样本中的每个样本包括图片和图片所对应的血液检验指标；特征提取模块，所述特征提取模块包括特征提取器，所述特征提取器提取图片的特征和血液检验指标的特征；组块对抗模块，所述组块对抗模块包括编码器和判别器，所述编码器将所述图片的特征和血液检验指标的特征进行融合并映射到隐空间范围内得到胃溃疡疾病的高阶池化特征和十二指肠溃疡疾病的高阶池化特征，所述判别器和所述编码器根据所述胃溃疡疾病的高阶池化特征和十二指肠溃疡疾病的高阶池化特征进行对抗；分类模块，所述分类模块包括分类器，所述分类器根据所述胃溃疡疾病的高阶池化特征和十二指肠溃疡疾病的高阶池化特征得到分类结果；训练模块，所述训练模块使用所述训练集训练所述特征提取器、编码器、判别器和分类器得到训练完成的特征提取器、编码器、判别器和分类器；预测模块，所述预测模块获取待测的胃溃疡病例样本并输入所述训练完成的特征提取器、编码器、判别器和分类器中得到胃溃疡分类结果。2.根据权利要求1所述的基于组块对抗的零样本胃溃疡分类系统，其特征在于：所述特征提取器提取图片的特征和血液检验指标的特征，具体为：所述特征提取器包括图片提取器和文本提取器，使用所述图片提取器提取所述有标注的十二指肠溃疡病例样本中的图片的特征和所述未标注的胃溃疡病例样本中的图片的特征，将所述和按照网格划分进行平均池化得到和；将所述血液检验指标转换成包括血液检测各项指标与对应的检测结果值组成的文本序列，使用所述文本提取器提取所述有标注的十二指肠溃疡病例样本中的文本序列的特征和所述未标注的胃溃疡病例样本中的文本序列的特征。3.根据权利要求2所述的基于组块对抗的零样本胃溃疡分类系统，其特征在于：所述图片提取器为残差网络ResNet50，所述文本提取器为基于转换器的双向编码表示网络。4.根据权利要求2所述的基于组块对抗的零样本胃溃疡分类系统，其特征在于：所述编码器将所述图片的特征和血液检验指标的特征进行融合并映射到隐空间范围内得到胃溃疡疾病的高阶池化特征和十二指肠溃疡疾病的高阶池化特征，具体为：所述编码器使用注意力机制得到图片间的交互注意力权重，再使用注意力权重融合所述和得到胃溃疡疾病的高阶特征，所述胃溃疡疾病的高阶特征H经过特征池化得到所述胃溃疡疾病的高阶池化特征，表示第i个胃溃疡病例样本的高阶池化特征，n表示胃溃疡病例样本的数量；所述编码器使用注意力机制得到文本序列间的交互注意力权重，再使用注意力权重融
合所述和得到十二指肠溃疡疾病的高阶特征，所述十二指肠溃疡疾病的高阶特征H
’
经过特征池化得到所述十二指肠溃疡疾病的高阶池化特征，表示第i个十二指肠溃疡病例样本的高阶池化特征，m表示十二指肠溃疡病例样本的数量。5.根据权利要求1所述的基于组块对抗的零样本胃溃疡分类系统，其特征在于：所述编码器为基于转换器的编码器。6.根据权利要...

【专利技术属性】
技术研发人员：江海洋，王镇煜，赖春晓，张希钢，李峰，邱霖，何顺辉，赵志芳，万苹，赖正义，戴捷，邵贝，鹿伟民，
申请(专利权)人：紫东信息科技苏州有限公司，
类型：发明
国别省市：