多模态知识图谱补全模型训练方法、补全方法及设备技术

技术编号:45840223 阅读:10 留言:0更新日期:2025-07-15 22:48
本申请提供多模态知识图谱补全模型训练方法、补全方法及设备,涉及基于特定计算模型的计算机系统领域,方法包括:采用多模态知识图谱补全模型提取图像块特征向量、词特征向量和结构特征向量以及对应的视觉标记、文本标记和结构标记;并基于各个视觉标记、文本标记和结构标记,以图注意力机制获取各个实体的多模态融合特征数据;根据各个多模态融合特征数据对原始多模态知识图谱进行补全并计算补全后多模态知识图谱的目标损失以优化多模态知识图谱补全模型。本申请能够在补全模型训练过程中实现细粒度的多模态特征提取和应用,能够有效提高补全模型训练过程的可靠性及有效性,进而能够提高多模态知识图谱补全的准确性及可靠性。

【技术实现步骤摘要】

本申请涉及基于特定计算模型的计算机系统,尤其涉及多模态知识图谱补全模型训练方法、补全方法及设备


技术介绍

1、多模态知识图谱是一种融合多种数据模态(如文本、图像、音频、视频等)的知识表示框架。它在传统知识图谱的基础上引入多模态信息,使实体和关系不仅依赖结构化三元组(实体-关系-实体),还包含视觉、语音等特征,以增强知识表达的丰富性和泛化能力,提升推理和问答等任务的准确性,广泛应用于智能推荐、语义搜索和自然语言处理等领域。在多模态知识图谱中,每个节点代表一个实体,每个实体的模态可以包含有相对应的文字和图像等多模态数据;节点之间的边代表不同的实体之间的关联关系。

2、在实际构建多模态知识图谱的过程中,由于数据来源有限或知识更新不及时,常常会出现图谱中知识不完整的情况,这使得许多潜在的关系仍然隐藏而未被发现。为了解决这一关键问题,提出了多模态知识图谱补全这一任务,该任务应运而生,旨在自动推断并填补知识图谱中缺失的信息。通过执行这一任务,系统可以基于已有的知识和多模态数据自动推断出可能缺失的实体关系或属性,从而完善图谱的内容。p>

3、然而,本文档来自技高网...

【技术保护点】

1.一种多模态知识图谱补全模型训练方法,其特征在于,包括:

2.根据权利要求1所述的多模态知识图谱补全模型训练方法,其特征在于,所述多模态知识图谱补全模型包括:视觉特征提取模型、文本特征提取模型和层次化图注意力模型;

3.根据权利要求2所述的多模态知识图谱补全模型训练方法,其特征在于,所述多模态知识图谱补全模型还包括:线性投影模型和邻居聚合模型;

4.根据权利要求3所述的多模态知识图谱补全模型训练方法,其特征在于,所述多模态知识图谱补全模型还包括:图神经网络;

5.根据权利要求1所述的多模态知识图谱补全模型训练方法,其特征在于,所述根据各个...

【技术特征摘要】

1.一种多模态知识图谱补全模型训练方法,其特征在于,包括:

2.根据权利要求1所述的多模态知识图谱补全模型训练方法,其特征在于,所述多模态知识图谱补全模型包括:视觉特征提取模型、文本特征提取模型和层次化图注意力模型;

3.根据权利要求2所述的多模态知识图谱补全模型训练方法,其特征在于,所述多模态知识图谱补全模型还包括:线性投影模型和邻居聚合模型;

4.根据权利要求3所述的多模态知识图谱补全模型训练方法,其特征在于,所述多模态知识图谱补全模型还包括:图神经网络;

5.根据权利要求1所述的多模态知识图谱补全模型训练方法,其特征在于,所述根据各个所述实体各自对应的多模态融合特征数据对所述原始多模态知识图谱进行补全处理以得到当前迭代轮次的目标多模态知识图谱,并计算所述目标多模态知识图谱对应的目标损失以优化所述多模态知识图谱补全模型,包括:

6.根...

【专利技术属性】
技术研发人员:杜军平左宇轩薛哲寇菲菲梁美玉
申请(专利权)人:北京邮电大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1