基于文本和图片的双模态胃部疾病分类方法及装置制造方法及图纸

本申请涉及一种基于文本和图片的双模态胃部疾病分类方法及装置，属于医学文本和图像双模态智能处理技术领域，该方法包括：将病历报告输入预先训练的文本提取网络，得到病历报告的文本特征向量；将胃镜图片输入预先训练的图片提取网络，得到胃镜图片的图片特征向量；将文本特征向量和图片特征向量进行特征融合，并将融合后的特征向量输入预先训练的分类器中，得到胃部疾病的分类结果；可以解决人工诊断胃部疾病的效率较低的问题；实现自动地对胃部疾病进行分类，提高胃部疾病诊断效果。另外，通过结合文本特征向量和图片特征向量进行胃部疾病分类，相较于单独使用文本或者图片来说，具有更高的分类准确性。

【技术实现步骤摘要】
基于文本和图片的双模态胃部疾病分类方法及装置
本申请涉及一种基于文本和图片的双模态胃部疾病分类方法及装置，属于医学文本和图像双模态智能处理

技术介绍
胃癌是一种起源于胃黏膜上皮的恶性肿瘤，在我国的各类恶性肿瘤中发病率处于首位。由于胃镜技术在胃癌诊断方面效果显著，已被推荐为胃癌的主要诊断方法。具体来说胃镜检查，可以直接探及胃内的病变组织区域作出相应的诊断，在胃镜下可以做组织活检对早期的胃癌癌前疾病或者是癌前病变的诊断及鉴别良性恶性溃疡都有重要作用。但是由于人为因素例如医生的经验水平不一致，或者疏忽等特殊特殊情况会直接影响最后的胃癌诊断情况，同时人眼观察胃镜图片也会耗费大量的时间。
技术实现思路
本申请提供了一种基于文本和图片的双模态胃部疾病分类方法及装置，可以解决人工诊断胃部疾病的效率较低的问题。本申请提供如下技术方案：第一方面，提供一种基于文本和图片的双模态胃部疾病分类方法，所述方法包括：将病历报告输入预先训练的文本提取网络，得到所述病历报告的文本特征向量；将胃镜图片输入预先训练的图片提取网络，得到所述胃镜图片的图片特征向量，所述胃镜图片和所述病历报告对应同一对象；将所述文本特征向量和所述图片特征向量进行特征融合，并将融合后的特征向量输入预先训练的分类器中，得到胃部疾病的分类结果。可选地，所述将病历报告输入预先训练的文本提取网络，得到所述病历报告的文本特征向量，包括：从所述病历报告中提取主诉文本；将所述主诉文本经过BERT预训练模型进行编码，得到所述文本特征向量并存储。可选地，所述方法还包括：使用BERT预训练模型，将所述主诉文本输入transformer模型中进行编码，得到所述文本特征向量后，进行逻辑回归softmax分类，得到文本单模态的分类结果。可选地，所述将胃镜图片输入预先训练的图片提取网络，得到所述胃镜图片的图片特征向量，包括：将所述胃镜图片输入预训练模型VGG19中，经过所述VGG19的表示得到最后一层的输出特征向量，得到所述图片特征向量并存储。可选地，所述方法还包括：在得到所述图片特征向量后，再通过softmax进行分类，得到图片单模态的分类结果。可选地，所述将所述文本特征向量和所述图片特征向量进行特征融合，包括：将所述文本特征向量和所述图片特征向量进行拼接，得到融合后的特征向量。可选地，所述将所述文本特征向量和所述图片特征向量进行特征融合，包括：将所述文本特征向量和所述图片特征向量输入预先训练的张量融合网络TFN，得到融合后的特征向量。可选地，所述分类器包括长短期记忆人工神经网络LSTM网络和softmax分类函数。可选地，所述胃部疾病的分类结果包括每种分类的概率，对于概率大于预设阈值的分类为最终的胃部疾病的诊断结果。第二方面，提供一种基于文本和图片的双模态胃部疾病分类装置，所述装置包括：文本提取模块，用于将病历报告输入预先训练的文本提取网络，得到所述病历报告的文本特征向量；图片提取模块，用于将胃镜图片输入预先训练的图片提取网络，得到所述胃镜图片的图片特征向量；双模态分类模块，用于将所述文本特征向量和所述图片特征向量进行特征融合，并将融合后的特征向量输入预先训练的分类器中，得到胃部疾病的分类结果。本申请的有益效果至少包括：通过将病历报告输入预先训练的文本提取网络，得到病历报告的文本特征向量；将胃镜图片输入预先训练的图片提取网络，得到胃镜图片的图片特征向量；将文本特征向量和图片特征向量进行特征融合，并将融合后的特征向量输入预先训练的分类器中，得到胃部疾病的分类结果；可以解决人工诊断胃部疾病的效率较低的问题；实现自动地对胃部疾病进行分类，提高胃部疾病诊断效果。另外，通过结合文本特征向量和图片特征向量进行胃部疾病分类，相较于单独使用文本或者图片来说，具有更高的分类准确性。上述说明仅是本申请技术方案的概述，为了能够更清楚了解本申请的技术手段，并可依照说明书的内容予以实施，以下以本申请的较佳实施例并配合附图详细说明如后。【附图说明】图1是本申请一个实施例提供的基于文本和图片的双模态胃部疾病分类方法的流程图；图2是本申请一个实施例提供的BERT模型的结构示意图；图3是本申请一个实施例提供的VGG19模型的结构示意图；图4是本申请一个实施例提供的双模态胃部疾病分类过程的示意图；图5是本申请一个实施例提供的基于文本和图片的双模态胃部疾病分类装置的框图。【具体实施方式】下面结合附图和实施例，对本申请的具体实施方式作进一步详细描述。以下实施例用于说明本申请，但不用来限制本申请的范围。首先，对本申请涉及的若干名词进行介绍。双向迁移的解码器(BidirectionalEncoderRepresentationsfromTransformers，BERT)：是一种大规模无监督预训练语言模型，作为Word2vec的替代者，它在自然语言处理(NaturalLanguageProcessing，NLP)领域刷新了精度，是近年来来自残差网络的最具突破性的一项技术。BERT的本质是通过海量的语料的基础上运行自监督学习方法为单词学习一个好的特征表示，他为其他任务提供了一个可供迁移的模型。其优点在于集成了生成式的预训练(GenerativePre-Training，GPT)的Transformer特征提取结构和从语言模型中获取词向量(embeddingfromlanguagemodel，ELMo)双向结构，在生成深层的双向语言表征的同时实现了并行计算，最后该模型在预训练后，只需要添加一个额外的输出层进行微调，就可以应用于各种下游任务并且取得非常好的性能。由于深度学习对数据集的大小有一定的要求，若原始的数据集比较小，机器无法学习到单词对应的好的特征表示。而BERT利用了大规模的语料，可以为任意字词训练出一个好的特征表示，具有很强的特征提取能力，能够一定程度上提升模型的性能。BERT是一种多层Transformer结构，其最大的特点是抛弃了传统的循环神经网络(RecurrentNeuralNetwork,RNN)和卷积神经网络(ConvolutionalNeuralNetworks，CNN)，通过注意力(Attention)机制将任意位置的两个单词的距离转换成1，有效地解决了NLP中棘手的长期依赖问题。BERT是一个多任务模型，由两个自监督任务组成，分别是掩码语言模型(MaskedLanguageModel，MLM)和下一句预测(NextSentencePrediction，NSP)。在经过大量语料上预训练完BERT之后，便可以使用预训练好的模型应用到NLP的各个任务中了。VGG19：是VisualGeometryGroup团队提出的，主要工作是证明了增加网络的深度能够在一定程度上影响网络最终的性能。VG本文档来自技高网...

【技术保护点】
1.一种基于文本和图片的双模态胃部疾病分类方法，其特征在于，所述方法包括：/n将病历报告输入预先训练的文本提取网络，得到所述病历报告的文本特征向量；/n将胃镜图片输入预先训练的图片提取网络，得到所述胃镜图片的图片特征向量，所述胃镜图片和所述病历报告对应同一对象；/n将所述文本特征向量和所述图片特征向量进行特征融合，并将融合后的特征向量输入预先训练的分类器中，得到胃部疾病的分类结果。/n

【技术特征摘要】
1.一种基于文本和图片的双模态胃部疾病分类方法，其特征在于，所述方法包括：
将病历报告输入预先训练的文本提取网络，得到所述病历报告的文本特征向量；
将胃镜图片输入预先训练的图片提取网络，得到所述胃镜图片的图片特征向量，所述胃镜图片和所述病历报告对应同一对象；
将所述文本特征向量和所述图片特征向量进行特征融合，并将融合后的特征向量输入预先训练的分类器中，得到胃部疾病的分类结果。


2.根据权利要求1所述的方法，其特征在于，所述将病历报告输入预先训练的文本提取网络，得到所述病历报告的文本特征向量，包括：
从所述病历报告中提取主诉文本；
将所述主诉文本经过BERT预训练模型进行编码，得到所述文本特征向量并存储。


3.根据权利要求2所述的方法，其特征在于，所述方法还包括：
使用BERT预训练模型，将所述主诉文本输入transformer模型中进行编码，得到所述文本特征向量后，进行逻辑回归softmax分类，得到文本单模态的分类结果。


4.根据权利要求1所述的方法，其特征在于，所述将胃镜图片输入预先训练的图片提取网络，得到所述胃镜图片的图片特征向量，包括：
将所述胃镜图片输入预训练模型VGG19中，经过所述VGG19的表示得到最后一层的输出特征向量，得到所述图片特征向量并存储。


5.根据权利要求4所述的方法，其特征在于，所述方法...

【专利技术属性】
技术研发人员：李寿山，罗佳敏，王晶晶，周国栋，张民，
申请(专利权)人：紫东信息科技苏州有限公司，
类型：发明
国别省市：江苏;32