一种多模态要素抽取方法、系统及装置制造方法及图纸

本发明专利技术提供了一种多模态要素抽取方法、系统及装置，涉及机器学习技术领域，方法主要包括：对文本模态要素及图片模态要素，分别通过预训练模型，抽取文本特征及图像表征后，投影至同一个向量空间后进行拼接，再输入至Transformer进行信息交互，得到文本模态与图片模态的融合表征；将融合表征中的文本表征，通过条件随机场进行序列标注，抽取文本要素集合；对融合特征中的图像表征，通过DETR模型进行目标检测，得到图像实体集合；基于文本要素集合及图像实体集合，通过余弦距离函数进行相似度计算，得到要素抽取集合。本方案可准确、自动地将文本模态数据及图片模态数据进行融合，避免了单一模态造成的信息缺失，实现了信息互补，并兼具共指消解功能。

【技术实现步骤摘要】

本专利技术涉及机器学习，尤其是涉及一种多模态要素抽取方法、系统及装置。

技术介绍

1、事件作为信息的一种表现形式，其定义为特定的人和物，在特定时间及地点进行相互作用的客观事实。事件通常是句子级文本。事件要素主要由事件类型、要素及要素角色组成。事件要素抽取旨在从文本中抽取出上述信息，并以结构化形式存储，以便供给其他信息抽取业务使用或直接参与实际应用。

2、目前，事件要素抽取方法主要有如下几种：

3、第一、纯文本事件要素抽取，可进一步细分为事件类型抽取和要素抽取两个子任务，而根据两个子任务的完成时间顺序，又可以划分为基于流水线式的事件抽取模型和联合抽取模型：前者以串行的方式进行事件类型抽取和要素抽取任务，且针对任务特点采用不同的分类器，注重结构性及针对性；后者同时完成事件类型抽取和要素抽取任务，考虑了两个任务之间的信息交互，注重整体性。而要素抽取作为事件抽取的子任务，同样可以采用基于流水线式抽取模型或联合抽取模型两种方式进行抽取。

4、第二、添加实体信息的事件要素抽取，实体在文本中占比较大，而单一的实体单词无法表达较多的实体本文档来自技高网...

【技术保护点】

1.一种多模态要素抽取方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，所述步骤1中的语言表征模型为BERT预训练模型。

3.根据权利要求1所述的方法，其特征在于，所述步骤1中的残差网络模型为ResNet50预训练模型。

4.根据权利要求1所述的方法，其特征在于，所述步骤3中进行序列标注的具体过程包括：

5.根据权利要求4所述的方法，其特征在于，所述步骤33中的序列路径得分为发射得分与转移得分之和。

6.根据权利要求1所述的方法，其特征在于，所述步骤4中DETR模型在Transformer的每个解码器层后添加前...

【技术特征摘要】

1.一种多模态要素抽取方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，所述步骤1中的语言表征模型为bert预训练模型。

3.根据权利要求1所述的方法，其特征在于，所述步骤1中的残差网络模型为resnet50预训练模型。

4.根据权利要求1所述的方法，其特征在于，所述步骤3中进行序列标注的具体过程包括：

5.根据权利要求4所述的方法，其特征在于，所述步骤33中的序列路径得分为发射得分与转移得分之和。

6.根据权利要求1所述的方法，其特征在于，所述步骤4中detr模型在transformer的每个解码器层后添加前馈神经网络及匈牙利损失函数：所述前馈神经网络，用于预测解码器输出结果中每个查询对象的类别和位置；所述匈牙利损失函数，用于在模型训练时，计算预测...

【专利技术属性】
技术研发人员：韩君妹，肖刚，杨健，
申请(专利权)人：中国人民解放军军事科学院系统工程研究院，
类型：发明
国别省市：