本发明专利技术公开了一种基于单词‑图片配对和交叉Transformer的多模态命名实体识别方法，包括：1、获取多模态的先置数据集；2、获取另一个包含文本模态的英文数据集以及视觉模态的图像数据集的多模态的目标数据集，并构建视觉‑窗格拓展前缀匹配树ExtendTrie；3、获取文本‑图片对的编码特征表示；4、构建基于Transformer的图像‑文本交叉融合模型CLT，得到最终的交叉融合特征F'；5、训练图像‑文本交叉融合模型CLT。本发明专利技术在处理多模态命名实体识别任务时，能够综合利用视觉‑窗格信息，提高文本‑图片对匹配度，并利用文本与视觉信息，以得到有效的数据特征表示，从而能提高命名实体识别任务的精度。
【技术实现步骤摘要】
本申请涉及计算机科学和人工智能领域，特别是自然语言处理(nlp)中的多模态命名实体识别(mner)技术。
技术介绍
1、命名实体识别(ner)是nlp任务的重要部分，早期研究使用特征工程和线性分类器如svm、最大熵和crf解决ner任务。为减少特征设计的人工工作，已提出数十种深度学习方法，例如cnn、lstm和注意力机制。最近，预训练方法在学习实例表示方面表现更佳，对ner任务也有益。然而，这些方法在多模态数据上的性能并不令人满意。
2、统计显示，超过42％的twitter帖子包含了图像这样的多模态数据。图像数据能够为我们提供丰富的信息辅助处理标签推荐任务。往往，图像和文本数据能够相辅相成，提供更全面的信息来反映所研究的对象。因此，仅依靠文本数据来进行标签推荐是不够的。
3、多模态融合是提升ner等任务性能中必不可少的一部分，整合视觉信息到ner中有两种方法。第一种是将整个图像编码成一个全局特征向量，然后用它来增强每个单词的表示。第二种是使用从整个图像中提取的视觉单元，如特征表示、图像标题和对象标签。
>4、然而，如社交媒本文档来自技高网...
【技术保护点】
1.一种基于单词-图片配对和交叉Transformer的多模态命名实体识别方法，其特征在于，是按如下步骤进行：
2.根据权利要求1所述的一种基于单词-图片配对和交叉Transformer的多模态命名实体识别方法，其特征在于，所述步骤3是按如下步骤进行：
3.根据权利要求2所述的一种基于单词-图片配对和交叉Transformer的多模态命名实体识别方法，其特征在于，所述步骤4是按如下步骤进行：
4.根据权利要求3所述的一种基于单词-图片配对和交叉Transformer的多模态命名实体识别方法，其特征在于，所述步骤5.1中是利用式(17)得到在给定交叉融合...
【技术特征摘要】
1.一种基于单词-图片配对和交叉transformer的多模态命名实体识别方法，其特征在于，是按如下步骤进行：
2.根据权利要求1所述的一种基于单词-图片配对和交叉transformer的多模态命名实体识别方法，其特征在于，所述步骤3是按如下步骤进行：
3.根据权利要求2所述的一种基于单词-图片配对和交叉transformer的多模态命名实体识别方法，其特征在于，所述步骤4是按如下步骤进行：
4.根据权利要求3所述的一种基于单词-图片配对和交叉transformer的多模态命名...
【专利技术属性】
技术研发人员：赵山，郑振涛，马文涛，徐旺，闫帅，
申请(专利权)人：合肥工业大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。