一种基于场景图的多模态医疗命名实体识别方法技术

本发明专利技术提供一种基于场景图的多模态医疗命名实体识别方法，首先分别为文本和图像生成场景图，然后计算两个场景图之间的相似程度，并将计算得到的相似度用于筛选图像中检测出来的实体，过滤掉图像中那些没用的信息；其次，通过文本和图像的融合来更新每个单词的特征表示，并用CRF预测实体类型，通过被筛选过的视觉信息来作为文本的提示可以有效降低模型对图像中不相关对象的理解偏差。本发明专利技术方法可以从更细粒度的层次衡量文本和图像之间的相似程度并且可以有效的筛选图片中有用的图像信息，应用在多模态医疗系统上可以更好的利用图像信息，从而更准确地识别文本中的实体。

【技术实现步骤摘要】

本专利技术涉及命名实体识别，具体涉及一种基于场景图的多模态医疗命名实体识别方法。

技术介绍

1、信息提取(information extraction，ie)是自然语言处理(nlp)中的一项经典任务，涉及从非结构化文本数据中自动提取结构化信息。ie的目标是以结构化格式(如数据库或电子表格)提取和表示相关信息，以便进一步分析和使用。这项任务对各种应用至关重要，如信息检索、问题回答和文本分类。ie通常由两个子任务组成。命名实体识别(namedentity recognition，ner)和关系提取(re)。命名实体识别作为信息抽取任务的关键技术，旨在识别句子中存在的命名实体并预测其属于预定义实体类型的哪一种，如人(per)、位置(loc)和组织(org)。通过准确地提取和标记这些命名实体，以便它们可以被用于各种下游nlp应用，如信息检索、情感分析、机器翻译等等。随着社交媒体所包含的模态越来越多，研究人员想要利用图片信息来帮助ner模型更加准确的识别实体，因此采用多模态学习进行医疗命名实体识别的方法应运而生。

2、多模态命名实体识别(multi－mo本文档来自技高网...

【技术保护点】

1.一种基于场景图的多模态医疗命名实体识别方法，其特征在于，包括：

2.根据权利要求1所述的一种基于场景图的多模态医疗命名实体识别方法，其特征在于，所述步骤1中多模态命名实体识别模型，包含嵌入层、bi-GRU编码器、Faster RCNN、biLSTM、图卷积网络、多头注意力机制、全连接层；所述多模态命名实体识别模型的输入为句子和句子所对应的图像，输出为句子中每个单词所属的实体类型。

3.根据权利要求1所述的一种基于场景图的多模态医疗命名实体识别方法，其特征在于，所述步骤2包括：

4.根据权利要求3所述的一种基于场景图的多模态医疗命名实体识别方法，其特...

【技术特征摘要】

1.一种基于场景图的多模态医疗命名实体识别方法，其特征在于，包括：

2.根据权利要求1所述的一种基于场景图的多模态医疗命名实体识别方法，其特征在于，所述步骤1中多模态命名实体识别模型，包含嵌入层、bi-gru编码器、faster rcnn、bilstm、图卷积网络、多头注意力机制、全连接层；所述多模态命名实体识别模型的输入为句子和句子所对应的图像，输出为句子中每个单词所属的实体类型。

3.根据权利要求1所述的一种基于场景图的多模态医疗命名实体识别方法，其特征在于，所述步骤2包括：

4.根据权利要求3所述的一种基于场景图的多模态医疗命名实体识别方法，其特征...

【专利技术属性】
技术研发人员：马连博，马健伦，张爽，
申请(专利权)人：东北大学，
类型：发明
国别省市：