本发明专利技术所提供的胃溃疡诊断模型可以同时处理一个病例的主诉文本和多张胃镜图片，且不同病例的胃镜图片数量可以不同；本发明专利技术所提供的胃溃疡诊断模型采用全新的任务提示模板，将文本模态和图像模态融合，共同完成胃溃疡的识别任务，在一定程度上，可以减少病例的标注成本，也能达到较高的预测性能，并且以完形填空的方式进行胃溃疡预测，可更有效地利用预训练的生物医药文本编码器，无需额外预训练多模态编码器，大幅减少训练和预测时间。大幅减少训练和预测时间。大幅减少训练和预测时间。
【技术实现步骤摘要】
一种胃溃疡诊断装置、设备及存储介质
[0001]本专利技术涉及医学
，尤其是指一种胃溃疡诊断装置、设备及计算机存储介质。
技术介绍
[0002]胃溃疡是一种常见的消化道疾病，属于消化性溃疡的一种，若不得到有效控制，可进一步发展为出血、穿孔甚至癌变。胃溃疡具有较为典型的上腹部疼痛症状，常呈隐痛、钝痛、胀痛、烧灼样痛，且多在餐后1小时内出现并经1～2小时后逐渐缓解。但是，也有部分患者无明显症状。因此，结合患者主诉和胃镜拍片结果是诊断胃溃疡的有效手段。然而，分析患者主诉和胃镜图片均依赖于医生经验，且会耗费大量时间和精力。基于人工智能技术的主诉文本
‑
胃镜图片分类方法可以减轻医生负担，辅助医生诊断，降低漏诊胃溃疡的概率。
[0003]在人工智能领域，基于单张图片或一段主诉文本的分类方法通常用于各类疾病的判断（如基于胃镜图片判断是否有胃溃疡等）。这种人工智能方法是使用机器学习算法从单张图像或一段文本中提取潜在特征的过程。目前最为广泛使用的人工智能方法是将该问题建模为输入一张图像或一段文本，并输出一个标签的问题。在胃溃疡诊断方面，标签为有胃溃疡和无胃溃疡。
[0004]现有技术只能以单张图片或一段文本作为输入，以图片输入为例，现有技术分为以下几个步骤：（1）专业人员以有/无胃溃疡为标签，标注大量胃镜图片，每张图片作为一个样本，获得多个带有标注样本的标注语料；（2）基于深度学习网络训练标注语料，获得分类模型；（3）使用分类模型对某个未知标签的图片进行预测，获得该张图片有/无胃溃疡的标签。预测过程中，每次输入分类模型的是单张图片。
[0005]以文本输入的现有技术步骤与上述类似，区别仅在于其使用一段主诉文本作为一个样本。
[0006]其中，第（2）步的深度学习网络一般采用卷积神经网络或基于注意力的Transformer网络。深度学习网络由文本/图像编码器层和全连接层组成。编码器层负责提取文本或图像的特征，一般由一系列的卷积层、激活层、池化层、自注意力层等组成。常用的文本编码器层包括Transformer、BERT、GPT等，常用的图像编码器层包括VGG、Residual Net、Dense Net、Efficient Net等。全连接层负责将文本或图像的特征映射到待分类的类别。输入一段文本或一张图片，通过模型中一系列的卷积层、激活层、池化层、自注意力层等对图像进行编码，获得文本或图像的特征；最后通过全连接实现样本的分类。
[0007]由于部分患者并无明显症状，且胃溃疡在一些图片中上表现不明显，专业医生往往会结合患者主诉和多张胃镜图片综合判断，而现有技术只能从单一文本或单张图像的角度判断病情，既无法处理多张胃镜图片的输入，也无法处理胃镜图像和主诉文本的同时输入，因此，现有技术的缺陷导致所产生人工智能预测模型对胃溃疡的诊断正确率不够高。并且，现有技术通常依赖大量标注的胃镜病例，使得预测模型更好的学习大量的参数，这需要花费高昂的人力和物力。
技术实现思路
[0008]为此，本专利技术所要解决的技术问题在于克服现有技术中胃溃疡诊断预测正确率低、训练成本高的问题。
[0009]为解决上述技术问题，本专利技术提供了一种胃溃疡诊断装置，包括：输入模块，用于将获取到的待诊病例的多张胃镜图片和主诉文本输入训练好的胃溃疡诊断模型中；主诉文本浅层特征提取模块，用于利用所述胃溃疡诊断模型的文本编码器的嵌入层提取主诉文本的特征，得到主诉文本浅层特征序列；胃镜图像特征提取模块，用于利用所述胃溃疡诊断模型的图像编码器提取多张胃镜图片的特征，并传入所述胃溃疡诊断模型的全连接层，获取与所述主诉文本浅层特征相同维度的胃镜图像特征序列；待诊病例任务提示模板获取模块，用于提取所述胃溃疡诊断模型预设任务提示模板中遮蔽字符和提示字符的文本浅层特征，并在预设任务提示模板的主诉槽位和图像槽位传入所述主诉文本浅层特征序列和所述胃镜图像特征序列，得到待诊病例的任务提示模板；多模态特征提取模块，用于将所述待诊病例的任务提示模板和其中每个特征对应的位置向量相加后传入文本编码器，得到多模态特征序列；结果预测模块，用于利用所述胃溃疡诊断模型的分类器根据多模态特征序列中遮蔽字符对应的特征，预测遮蔽字符输出为“有”或“无”的概率，进而得到预测结果。
[0010]优选地，所述预设任务提示模板为“主诉槽位+图像槽位+该患者[MASK]胃溃疡”，其中，在所述图像槽位中，相邻的图像特征间使用特殊字符[SEP]间隔开，[MASK]为所述遮蔽字符，“该患者”、“胃溃疡”为所述提示字符。
[0011]优选地，所述主诉文本浅层特征提取模块用于将所述主诉文本传入所述胃溃疡诊断模型的文本编码器的嵌入层中，得到主诉文本浅层特征序列；其中，表示主诉文本的第n个字符，，主诉文本第n个字符对应的文本浅层特征，为所述文本编码器的嵌入层。
[0012]优选地，所述胃镜图像特征提取模块包括：图像特征提取单元，用于将所述多张胃镜图片归一化至统一的色彩空间和尺寸后，利用所述胃溃疡诊断模型的图像编码器提取得到多张胃镜图片的特征；维度变换单元，用于将所述多张胃镜图片的特征传入所述胃溃疡诊断模型的全连接层，获取与所述主诉文本浅层特征相同维度的胃镜图像特征序列；其中，表示张胃镜图片中的第m张，，第m张胃镜图片对应的图像特征，为所述图像编码器，第m张胃镜图片对应的与文本浅层特征相同维度的图像特征，和分别表示全连接层中可学习的权重参数和偏置参数。
[0013]优选地，所述多模态特征提取模块用于构建长度为k的位置向量，与所述待诊病例的任务提示模板相加后传入文本编码器，获得多模态特征序列；其中，为待诊病例的任务提示模板中第j个特征，为多模态特征序列中的第j个特征，，为待诊病例的任务提示模板中的特征数量。
[0014]优选地，所述结果预测模块包括：映射单元，用于将标签空间中的每个标签，定义映射，；概率预测单元，用于选取遮蔽字符[MASK]对应的特征，通过全连接层和分类器获得遮蔽字符[MASK] 输出字符为“有”或“无”的概率分布，，得到子集：，为标签空间中标签的数量；分类单元，用于选取所述子集中概率最大的所对应的作为预测分类结果。
[0015]优选地，所述胃溃疡诊断装置还包括：胃溃疡诊断模型构建模块，用于基于文本编码器、图像编码器、全连接层、任务提示模板、分类器构建所述胃溃疡诊断模型；胃溃疡诊断模型训练模块，用于利用训练集中的训练样本训练所述胃溃疡诊断模型直至损失函数收敛，得到所述训练好的胃溃疡诊断模型。
[0016]优选地，所述损失函数为：，为标签空间中第i个标签，为真实标签的one
‑
hot编码中的第i个分量，为标签空间中标签的数量。
[0017]本专利技术还提供了一种胃溃疡诊断设备，包括存储器和处理器，所述存储器中存储有计算机可读指令，所述处理器执行所述计算机可读指令时实现上述胃溃疡诊断装置中各模块的功能本专利技术还提供了一种计算机可读存储介质，所述计算机可读指令被处理器执行时实现上述胃溃疡诊断装置中的各模块的功能。
[本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种胃溃疡诊断装置，其特征在于，包括：输入模块，用于将获取到的待诊病例的多张胃镜图片和主诉文本输入训练好的胃溃疡诊断模型中；主诉文本浅层特征提取模块，用于利用所述胃溃疡诊断模型的文本编码器的嵌入层提取主诉文本的特征，得到主诉文本浅层特征序列；胃镜图像特征提取模块，用于利用所述胃溃疡诊断模型的图像编码器提取多张胃镜图片的特征，并传入所述胃溃疡诊断模型的全连接层，获取与所述主诉文本浅层特征相同维度的胃镜图像特征序列；待诊病例任务提示模板获取模块，用于提取所述胃溃疡诊断模型预设任务提示模板中遮蔽字符和提示字符的文本浅层特征，并在预设任务提示模板的主诉槽位和图像槽位传入所述主诉文本浅层特征序列和所述胃镜图像特征序列，得到待诊病例的任务提示模板；多模态特征提取模块，用于将所述待诊病例的任务提示模板和其中每个特征对应的位置向量相加后传入文本编码器，得到多模态特征序列；结果预测模块，用于利用所述胃溃疡诊断模型的分类器根据多模态特征序列中遮蔽字符对应的特征，预测遮蔽字符输出为“有”或“无”的概率，进而得到预测结果。2.根据权利要求1所述的胃溃疡诊断装置，其特征在于，所述预设任务提示模板为“主诉槽位+图像槽位+该患者[MASK]胃溃疡”，其中，在所述图像槽位中，相邻的图像特征间使用特殊字符[SEP]间隔开，[MASK]为所述遮蔽字符，“该患者”、“胃溃疡”为所述提示字符。3.根据权利要求2所述的胃溃疡诊断装置，其特征在于，所述主诉文本浅层特征提取模块用于将所述主诉文本传入所述胃溃疡诊断模型的文本编码器的嵌入层中，得到主诉文本浅层特征序列；其中，表示主诉文本的第n个字符，，主诉文本第n个字符对应的文本浅层特征，为所述文本编码器的嵌入层。4.根据权利要求3所述的胃溃疡诊断装置，其特征在于，所述胃镜图像特征提取模块包括：图像特征提取单元，用于将所述多张胃镜图片归一化至统一的色彩空间和尺寸后，利用所述胃溃疡诊断模型的图像编码器提取得到多张胃镜图片的特征；维度变换单元，用于将所述多张胃镜图片的特征传入所述胃溃疡诊断模型的全连...
【专利技术属性】
技术研发人员：张希钢，赖春晓，王镇煜，李峰，邱霖，万苹，赵志芳，何顺辉，李志俭，江海洋，赖正义，戴捷，鹿伟民，邵贝，
申请(专利权)人：紫东信息科技苏州有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。