基于跨视角对比学习的多模态知识图谱补全方法及系统技术方案

本发明专利技术提供一种基于跨视角对比学习的多模态知识图谱补全方法及系统，属于知识图谱技术领域，多视角知识嵌入，获得具有语义相似性的多模态知识表示，减少模态异质性和无关信息中所引入的噪声；关系感知信息聚合，通过捕获不同模态中的有效信息，实现多关系异构图的表示学习；多模态知识对比学习，通过对知识图谱中多模态信息多样性的充分利用，实现跨模态知识理解并生成更具判别性的实体表征；关系感知决策融合，生成相应的模态权重，组合不同模态的决策得分。本发明专利技术通过信息聚合灵活捕获各模态内的有效信息；利用对比学习得到跨模态理解的实体表示；通过决策融合模块整合不同模态预测进行最终决策。

【技术实现步骤摘要】

本专利技术涉及知识图谱，具体涉及一种基于跨视角对比学习的多模态知识图谱补全方法及系统。

技术介绍

1、多模态知识图谱的兴起源于多模态数据日益丰富的现实场景，包括社交媒体上的图像和视频分享、智能设备的普及以及传感器数据的大规模收集。这一趋势催生了多模态知识图谱的发展，它能够将多种媒体类型的数据整合到一个统一的知识表示中，从而更全面地理解和处理多模态信息。多模态知识图谱在各个领域都具有广泛的应用，包括跨媒体搜索与检索、多模态问答系统、多模态情感分析、图像和视频内容推荐、社交媒体分析、医疗健康、智能交通系统以及教育等领域，为各种任务提供了有力的支持。

2、然而知识图谱常常是不完整的，因为知识的复杂性、多样性和可变性使得无法涵盖现实世界的所有知识。为了弥补这一差距，知识图谱补全任务旨在发现知识图谱中缺失的三元组。例如，给定头实体和关系(h,r)，预测尾实体t。迄今为止，人们已经提出了各种用于知识图谱补全的推理方法。这些方法的关键思想是通过有效整合图中现有信息来推断新知识。然而，既有的方案常因为忽略多模态信息中的异构性和多样性，导致多模态表示不一致和不完本文档来自技高网...

【技术保护点】

1.一种基于跨视角对比学习的多模态知识图谱补全方法，其特征在于，包括：

2.根据权利要求1所述的基于跨视角对比学习的多模态知识图谱补全方法，其特征在于，多视角知识抽取处理，包括：

3.根据权利要求2所述的基于跨视角对比学习的多模态知识图谱补全方法，其特征在于，采用CLIP中的思想，最大化匹配的图文对的相似度，并最小化不匹配图文对的相似度，对齐实体的视觉聚合特征和文本特征。

4.根据权利要求1所述的基于跨视角对比学习的多模态知识图谱补全方法，其特征在于，基于关系感知的信息聚合，包括：计算关系感知注意力，以衡量邻居实体的重要性；使用关系感知注意的聚合函数来...

【技术特征摘要】

1.一种基于跨视角对比学习的多模态知识图谱补全方法，其特征在于，包括：

2.根据权利要求1所述的基于跨视角对比学习的多模态知识图谱补全方法，其特征在于，多视角知识抽取处理，包括：

3.根据权利要求2所述的基于跨视角对比学习的多模态知识图谱补全方法，其特征在于，采用clip中的思想，最大化匹配的图文对的相似度，并最小化不匹配图文对的相似度，对齐实体的视觉聚合特征和文本特征。

4.根据权利要求1所述的基于跨视角对比学习的多模态知识图谱补全方法，其特征在于，基于关系感知的信息聚合，包括：计算关系感知注意力，以衡量邻居实体的重要性；使用关系感知注意的聚合函数来聚合相关邻居实体信息，更新当前模态中的实体表示。

5.根据权利要求1所述的基于跨视角对比学习的多模态知识图谱补全方法，其特征在于，多模态知识对比学习，包括：通过模态间对比学习，拉近同一实体的结构与文本信息、视觉与文本信息的距离，以减少模态间的相互干扰，保留每种模态内的特定信息；利用模态内知识对齐模块，以拉近各模态内相同实体的嵌入。

6.根据权利要求1所述的基于跨视...

【专利技术属性】
技术研发人员：朱振峰，徐蕴辉，李有儒，郑帅，
申请(专利权)人：北京交通大学，
类型：发明
国别省市：