【技术实现步骤摘要】
本申请涉及基于特定计算模型的计算机系统,尤其涉及多模态知识图谱补全模型训练方法、补全方法及设备。
技术介绍
1、多模态知识图谱是一种融合多种数据模态(如文本、图像、音频、视频等)的知识表示框架。它在传统知识图谱的基础上引入多模态信息,使实体和关系不仅依赖结构化三元组(实体-关系-实体),还包含视觉、语音等特征,以增强知识表达的丰富性和泛化能力,提升推理和问答等任务的准确性,广泛应用于智能推荐、语义搜索和自然语言处理等领域。在多模态知识图谱中,每个节点代表一个实体,每个实体的模态可以包含有相对应的文字和图像等多模态数据;节点之间的边代表不同的实体之间的关联关系。
2、在实际构建多模态知识图谱的过程中,由于数据来源有限或知识更新不及时,常常会出现图谱中知识不完整的情况,这使得许多潜在的关系仍然隐藏而未被发现。为了解决这一关键问题,提出了多模态知识图谱补全这一任务,该任务应运而生,旨在自动推断并填补知识图谱中缺失的信息。通过执行这一任务,系统可以基于已有的知识和多模态数据自动推断出可能缺失的实体关系或属性,从而完善图谱的内容。
...【技术保护点】
1.一种多模态知识图谱补全模型训练方法,其特征在于,包括:
2.根据权利要求1所述的多模态知识图谱补全模型训练方法,其特征在于,所述多模态知识图谱补全模型包括:视觉特征提取模型、文本特征提取模型和层次化图注意力模型;
3.根据权利要求2所述的多模态知识图谱补全模型训练方法,其特征在于,所述多模态知识图谱补全模型还包括:线性投影模型和邻居聚合模型;
4.根据权利要求3所述的多模态知识图谱补全模型训练方法,其特征在于,所述多模态知识图谱补全模型还包括:图神经网络;
5.根据权利要求1所述的多模态知识图谱补全模型训练方法,其特
...【技术特征摘要】
1.一种多模态知识图谱补全模型训练方法,其特征在于,包括:
2.根据权利要求1所述的多模态知识图谱补全模型训练方法,其特征在于,所述多模态知识图谱补全模型包括:视觉特征提取模型、文本特征提取模型和层次化图注意力模型;
3.根据权利要求2所述的多模态知识图谱补全模型训练方法,其特征在于,所述多模态知识图谱补全模型还包括:线性投影模型和邻居聚合模型;
4.根据权利要求3所述的多模态知识图谱补全模型训练方法,其特征在于,所述多模态知识图谱补全模型还包括:图神经网络;
5.根据权利要求1所述的多模态知识图谱补全模型训练方法,其特征在于,所述根据各个所述实体各自对应的多模态融合特征数据对所述原始多模态知识图谱进行补全处理以得到当前迭代轮次的目标多模态知识图谱,并计算所述目标多模态知识图谱对应的目标损失以优化所述多模态知识图谱补全模型,包括:
6.根...
【专利技术属性】
技术研发人员:杜军平,左宇轩,薛哲,寇菲菲,梁美玉,
申请(专利权)人:北京邮电大学,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。