一种基于事件本体的多模态事件表示学习方法技术

本发明专利技术涉及多模态数据的表示学习技术领域，具体涉及一种基于事件本体的多模态事件表示学习方法。具体技术方案为：一种基于事件本体的多模态事件表示学习方法，包括：相关领域事件本体的构建并形成事件本体模型；初始多模态事件信息数据的预处理，根据事件本体中定义的语言表现，将不同的事件归并到不同的事件类中；采用本体模型和多模态预训练模型对多模态事件数据进行嵌入表示；采用图卷积神经网络模型学习本体中由事件和事件以及事件和关系所构成的图结构。本发明专利技术能够解决单模态事件表达能力不足、事件之间缺乏语义信息的问题，同时能够保证相似或相关事件之间的语义距离越近，无关或不相似事件的语义距离越远。无关或不相似事件的语义距离越远。

【技术实现步骤摘要】
一种基于事件本体的多模态事件表示学习方法


本专利技术涉及多模态数据的表示学习
，具体涉及一种基于事件本体的多模态事件表示学习方法。

技术介绍

随着互联网和人工智能的快速发展和普及，网络上的信息呈现出多元化的趋势，不再仅仅是单一模态，如何充分利用多模态信息来实现更加智能化的分析是当前人工智能急需解决的问题。在传统的自然语言处理领域中，通过表示学习等一系列方法使得文本数据转化为机器可识别且含语义的嵌入表示，目前大部分该技术停留在词或句子的层面且只有纯文本这一种模态，存在局限性。目前存在的事件表示学习方法多以事件三元组为基础(主语、谓语、宾语)，并有的方法在该基础上增加多模态数据使得相同词但不同含义的事件所学到的嵌入表示存在差异，但忽略了事件发生的时间、地点等要素且事件间相互独立，未能体现出事件在时间上的先后顺序和事件之间可能存在的关系，使得到的事件嵌入表示的语义性较弱。

技术实现思路

针对现有技术的不足，本专利技术提供了一种基于事件本体的多模态事件表示学习方法，为事件的推理和决策等下层应用提供了一种嵌入表示的方法，能够解决单模态事件表达能力不足、事件之间缺乏语义信息的问题，同时能够保证相似或相关事件之间的语义距离越近，无关或不相似事件的语义距离越远。为实现以上目的，本专利技术通过以下技术方案予以实现：本专利技术公开了一种基于事件本体的多模态事件表示学习方法，其特征在于：包括：相关领域事件本体的构建并形成事件本体模型；初始多模态事件信息数据的预处理，根据事件本体中定义的语言表现，将不同的事件归并到不同的事件类中；采用本体模型和多模态预训练模型对多模态事件数据进行嵌入表示；采用图卷积神经网络模型学习本体中由事件和事件以及事件和关系所构成的图结构。优选的，所述相关领域事件本体的构建并形成事件本体模型，具体包括：(1)相关领域文本语料库的构建；(2)通过学习语料库，从待表示的多模态事件信息中的领域文本内容中抽取所表述的事件以及事件各要素；(3)事件类分类以及非分类关系的抽取；(4)根据归纳得到的事件类、事件类要素、事件类关系抽象得到其形式化的语言描述；(5)采用词向量预训练模型对得到的语言描述进行嵌入表示，并对全部语言表现
的词嵌入进行加权求和以形成事件本体模型。优选的，所述根据归纳得到的事件类、事件类要素、事件类关系抽象得到其形式化的语言描述，具体满足下述定义：EO∶:＝<ECs,Rs,Rules>Rs∶:＝{R
is_a
,R
follow
,R
choice
,R
cause
,R
compose
,R
concur
}其中ECs是所有事件类的集合，Rs包括事件类之间的分类关系和非分类关系，Rules表示事件推理的规则。优选的，所述采用词向量预训练模型对得到的语言描述进行嵌入表示，并对全部语言表现的词嵌入进行加权求和以形成事件本体模型，具体满足下述公式：其中，t表示事件的参数向量，v表示使用词向量预训练模型生成的嵌入,w
i
表示第i个事件要素所对应的权重。5.根据权利要求1所述的一种基于事件本体的多模态事件表示学习方法，其特征在于：所述初始多模态事件信息数据的预处理，根据事件本体中定义的语言表现，将不同的事件归并到不同的事件类中，具体包括：采用目标检测算法提取图片信息中的对象区域及该区域的特征表示；提取文本信息中某事件的核心关键词并根据本体定义的语言表现进行余弦相似度计算并归类。优选的，所述提取文本信息中某事件的核心关键词并根据本体定义的语言表现进行余弦相似度计算并归类，具体满足下述公式：其中，e
c
表示某一事件类的n维嵌入表示，α表示对事件文本关键词求均值得到的嵌入表示,Sim(e
c
,α)表示该事件与事件类的相似度。优选的，所述采用本体模型和多模态预训练模型对多模态事件数据进行嵌入表示，具体包括：采集大量事件文本
‑
图片的数据对；根据模型的框架对这些文本
‑
图像对进行学习得到其语义空间；将待表示的文本
‑
图像数据作为模型的输入并得到其嵌入表示；将其所属的事件类对应的嵌入表示与模型的输出进行拼接融合。优选的，所述根据模型的框架对这些文本
‑
图像对进行学习得到其语义空间，具体包括：根据未掩盖区域来预测掩盖区域的预训练任务，使用最小化KL距离方法衡量预测的分布和真实分布的关系；事件图片和事件文本之间是否匹配的二分类预训练任务，使用点乘计算cosine距离，并学习一个线性层判断二者最终是否匹配。
优选的，所述采用图神经网络模型学习本体中由事件和事件以及事件和关系所构成的图结构，具体包括：将根据权利要求6所述的方法获得的事件嵌入表示作为图神经网络的初始嵌入；根据事件与事件之间的关系为边构建事件图结构；采用图神经网络模型学习与当前节点存在关联的邻居节点的特征；根据设置的事件预测、事件词预测任务来学习嵌入表示。优选的，所述根据设置的事件预测任务来学习嵌入表示，具体满足下述公式：其中，t
ei
表示多模态事件的嵌入表示，表示和t
ei
属于同一事件类或相似的事件，表示和t
ei
不相似的事件；所述根据设置的事件词预测任务来学习嵌入表示，具体满足下述公式：其中，N表示事件数量，n
ei
表示事件ei的文本数据中词的数量，w
ij
表示事件ei中待预测的第j个词。本专利技术具备以下有益效果：1.事件的嵌入表示是考虑了所有的事件要素(对象、动作、时间、环境、状态、断言)在内的结果。2.本专利技术提出了通过构建事件本体模型对事件进行归类并引入多模态信息，保证相似或相关事件之间的语义距离越近，无关或不相似事件的语义距离越远，以解决了单一模态信息的局限性。3.本专利技术提出使用图神经网络对事件本体的情景模型和事件关系进行学习来增强嵌入表示的语义性。
附图说明
图1为本专利技术提出基于事件本体的多模态事件表示学习方法流程图；图2为本专利技术所述的事件本体结构图。
具体实施方式
下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。若未特别指明，实施举例中所用的技术手段为本领域技术人员所熟知的常规手段。
参考图1
‑
图2所示，本专利技术公开了一种基于事件本体的多模态事件表示学习方法，包括：(1)相关领域事件本体的构建并形成事件本体模型；(2)初始多模态事件信息数据的预处理，根据事件本体中定义的语言表现，将不同的事件归并到不同的事件类中；(3)采用本体模型和VilBERT等多模态预训练模型对多模态事件数据进行嵌入表示；(4)采用GCN、GAT等图卷积神经网络模型学习本体中由事件和事件以及事件和关系所构成本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于事件本体的多模态事件表示学习方法，其特征在于：包括：相关领域事件本体的构建并形成事件本体模型；初始多模态事件信息数据的预处理，根据事件本体中定义的语言表现，将不同的事件归并到不同的事件类中；采用本体模型和多模态预训练模型对多模态事件数据进行嵌入表示；采用图卷积神经网络模型学习本体中由事件和事件以及事件和关系所构成的图结构。2.根据权利要求1所述的一种基于事件本体的多模态事件表示学习方法，其特征在于：所述相关领域事件本体的构建并形成事件本体模型，具体包括：(1)相关领域文本语料库的构建；(2)通过学习语料库，从待表示的多模态事件信息中的领域文本内容中抽取所表述的事件以及事件各要素；(3)事件类分类以及非分类关系的抽取；(4)根据归纳得到的事件类、事件类要素、事件类关系抽象得到其形式化的语言描述；(5)采用词向量预训练模型对得到的语言描述进行嵌入表示，并对全部语言表现的词嵌入进行加权求和以形成事件本体模型。3.根据权利要求2所述的一种基于事件本体的多模态事件表示学习方法，其特征在于：所述根据归纳得到的事件类、事件类要素、事件类关系抽象得到其形式化的语言描述，具体满足下述定义：EO∶:＝<ECs,Rs,Rules>Rs∶:＝{R
is_a
,R
follow
,R
choice
,R
cause
,R
compose
,R
concur
}其中ECs是所有事件类的集合，Rs包括事件类之间的分类关系和非分类关系，Rules表示事件推理的规则。4.根据权利要求2所述的一种基于事件本体的多模态事件表示学习方法，其特征在于：所述采用词向量预训练模型对得到的语言描述进行嵌入表示，并对全部语言表现的词嵌入进行加权求和以形成事件本体模型，具体满足下述公式：其中，t表示事件的参数向量，v表示使用词向量预训练模型生成的嵌入,w
i
表示第i个事件要素所对应的权重。5.根据权利要求1所述的一种基于事件本体的多模态事件表示学习方法，其特征在于：所述初始多模态事件信息数据的预处理，根据事件本体中定义的语言表现，将不同的事件归并到不同的事件类中，具体包括：采用目标检测算法提取图片信息中的对象区域及该区域的特征表示；提取文本信息中某事件的核心关键词并根据本体定义的语言表现进行余弦相似度计算并归类。6.根据权利要求5所述的...

【专利技术属性】
技术研发人员：刘炜，吴锜，李卫民，谢少荣，彭艳，
申请(专利权)人：上海大学，
类型：发明
国别省市：